opencv使用 GStreamer 硬解码和 CUDA 加速的方案

在Conda环境中从源代码编译OpenCV（支持CUDA和GStreamer）

以下是完整的方案步骤，包括必要的依赖库安装过程：

1. 安装Miniconda（如果尚未安装）

# 下载Miniconda安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# 安装Miniconda
bash Miniconda3-latest-Linux-x86_64.sh# 初始化conda
conda init bash# 重启终端或执行
source ~/.bashrc

2. 创建并激活Conda环境

# 创建环境
conda create -n  opencvcuda python=3.9 -y
conda activate opencvcuda # 安装编译工具和依赖
#conda install cmake ninja git -y(这个没有做)
conda install  ffmpeg gstreamer gst-plugins-base gst-plugins-good -y
conda install numpy -y

3. 安装系统级依赖

# 安装编译OpenCV所需的系统库
sudo apt-get update
sudo apt-get install -y build-essential
sudo apt-get install -y libgtk-3-dev libjpeg-dev libpng-dev libtiff-dev libavcodec-dev libavformat-dev libswscale-dev
sudo apt-get install -y libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev
sudo apt-get install -y libxvidcore-dev libx264-dev libatlas-base-dev gfortran
sudo apt-get install -y libtbb2 libtbb-dev libdc1394-22-dev（这个包似乎没有）

添加：export GST_PLUGIN_PATH=/usr/lib/x86_64-linux-gnu/gstreamer-1.0:$GST_PLUGIN_PATH到环境变量中。

4. 下载OpenCV源代码

# 创建工作目录
mkdir -p ~/opencv_build && cd ~/opencv_build# 下载OpenCV和OpenCV_contrib
wget -O opencv.zip https://github.com/opencv/opencv/archive/4.8.0.zip
wget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.8.0.zip# 解压
unzip opencv.zip
unzip opencv_contrib.zip# 重命名目录（为什么要重命名呢，不需要也行）
mv opencv-4.8.0 opencv
mv opencv_contrib-4.8.0 opencv_contrib

5. 配置CMake

# 创建构建目录
mkdir -p build && cd build# 配置CMake（根据你的CUDA版本和GPU架构调整）
cmake -G Ninja \-D CMAKE_BUILD_TYPE=RELEASE \-D CMAKE_INSTALL_PREFIX=$CONDA_PREFIX \-D WITH_CUDA=ON \-D WITH_CUDNN=ON \-D OPENCV_DNN_CUDA=ON \-D CUDA_ARCH_BIN="6.0;6.1;7.0;7.5;8.0;8.6；8.9" \  # 根据你的GPU调整-D WITH_GSTREAMER=ON \-D WITH_LIBV4L=ON \-D BUILD_opencv_python2=OFF \-D BUILD_opencv_python3=ON \-D PYTHON3_EXECUTABLE=$(which python) \-D PYTHON3_INCLUDE_DIR=$(python -c "from distutils.sysconfig import get_python_inc; print(get_python_inc())") \-D PYTHON3_NUMPY_INCLUDE_DIRS=$(python -c "import numpy; print(numpy.get_include())") \-D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules \ #这里是上面对应的mv opencv_contrib-4.8.0 opencv_contrib 重命名后的路径-D INSTALL_PYTHON_EXAMPLES=OFF \-D INSTALL_C_EXAMPLES=OFF \-D BUILD_EXAMPLES=OFF \../../opencv  #这里是上面对应的mv opencv-4.8.0 opencv 重命名后的路径

注意：CUDA_ARCH_BIN参数应根据你的GPU架构调整。常见值：

• RTX 40系列：8.9
• RTX 30系列：8.6
• RTX 20系列：7.5
• GTX 10系列：6.1
• Tesla V100：7.0
• 自动检测：使用-D CUDA_ARCH_BIN=Auto（需要NVCC）

6. 编译并安装

# 使用cmake编译
make-j$(nproc)# 安装到Conda环境
make install

生成好的opencv库以及对应的文件将会报存在创建的环境对应的目录下

7. 验证安装

# 激活环境（如果尚未激活）
conda activate opencvcuda# 验证OpenCV版本和功能
python -c "
import cv2
print(f'OpenCV version: {cv2.__version__}')# 检查CUDA支持
cuda_available = cv2.cuda.getCudaEnabledDeviceCount() > 0
print(f'CUDA support: {"✅ Yes" if cuda_available else "❌ No"}')# 检查GStreamer支持
try:cap = cv2.VideoCapture('videotestsrc ! video/x-raw, format=BGRx ! videoconvert ! appsink', cv2.CAP_GSTREAMER)gstreamer_available = cap.isOpened()cap.release()print(f'GStreamer support: {"✅ Yes" if gstreamer_available else "❌ No"}')
except:print('❌ GStreamer check failed')
"

运行结果为：

8. 使用GStreamer硬解码和CUDA加速的示例

import cv2
import numpy as npdef main():video_path = "2018_0412_115801_006.MP4"# 根据实际视频编码调整parse插件（示例为H.264） 硬解码不行，提示无法找到nvv4l2decoder,应该是jetson平台的'''gstreamer_pipeline = (f"filesrc location={video_path} ! ""qtdemux ! ""h264parse ! "  "nvv4l2decoder ! ""nvvidconv ! ""video/x-raw, format=BGRx ! ""videoconvert ! ""appsink")'''#x86平台用Nvidia nvcodec 插件组的核心组件nvh264dec，专为GPU硬件解码优化gstreamer_pipeline = (f"filesrc location={video_path} ! ""qtdemux ! ""h264parse ! "  "nvh264dec ! " "videoconvert ! ""video/x-raw,format=BGR !""appsink")# 简化后的CPU解码管道（替换原pipeline）软解码能用'''gstreamer_pipeline = (f"filesrc location={video_path} ! qtdemux ! h264parse ! avdec_h264 ! "  # 使用CPU解码器avdec_h264"videoconvert ! video/x-raw,format=BGR ! appsink")'''print(gstreamer_pipeline)cap = cv2.VideoCapture(gstreamer_pipeline, cv2.CAP_GSTREAMER)if not cap.isOpened():print("Error opening video stream")return# 移除未使用的gpu_bgr变量if cv2.cuda.getCudaEnabledDeviceCount() > 0:gpu_frame = cv2.cuda_GpuMat()gpu_gray = cv2.cuda_GpuMat()  # 仅保留需要的变量while True:ret, frame = cap.read()if not ret:breakif cv2.cuda.getCudaEnabledDeviceCount() > 0:try:gpu_frame.upload(frame)gpu_gray = cv2.cuda.cvtColor(gpu_frame, cv2.COLOR_BGR2GRAY)gray = gpu_gray.download()except Exception as e:print(f"GPU处理失败: {str(e)}")# 可回退到CPU处理gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)else:gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)cv2.imshow("CUDA + GStreamer Demo", gray)if cv2.waitKey(1) & 0xFF == 27:breakcap.release()cv2.destroyAllWindows()if __name__ == "__main__":main()

启动的时候显卡情况：

在这里，我尝试了使用nvv4l2decoder来进行硬解码，但是我始终无法正确使用它，只能用nvv4l2decoder适合在jetson平台下使用，有能用成功的请留言告知，后面更换为nvh264dec进行硬解码，这个能成功。

常见问题及解决方法

1. CMake找不到CUDA：

   • 确保系统已安装CUDA：nvcc --version
   • 设置CUDA路径：export CUDA_HOME=/usr/local/cuda
   • 在CMake配置中添加：-D CUDA_TOOLKIT_ROOT_DIR=/usr/local/cuda

2. GStreamer错误：

   • 安装更多GStreamer插件：sudo apt-get install gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly
   • 检查环境变量：export GST_PLUGIN_PATH=/usr/lib/x86_64-linux-gnu/gstreamer-1.0/

3. 编译失败：

   • 清除构建目录并重新开始：rm -rf build && mkdir build && cd build
   • 检查CMake输出日志，查找缺失的依赖

4. Python导入错误：

   • 确保OpenCV已正确安装到Conda环境：ls $CONDA_PREFIX/lib/python3.8/site-packages/cv2
   • 尝试重新激活环境：conda deactivate && conda activate opencv-gpu

5. cmake过程中需要下载东西：

   • 编译过程中wechat_qrcode: Downloading detect.caffemodel from https://raw.githubusercontent.com/WeChatCV/opencv_3rdparty/a8b69ccc738421293254aec5ddb38bd523503252/detect.caffemodel 这个地方卡住了，",“multiMedia”:[],“parsedQuery”:["编译过程中wechat_qrcode: Downloading detect.caffemodel from ",{“type”:“web_page”,“url”:“https://raw.githubusercontent.com/WeChatCV/opencv_3rdparty/a8b69ccc738421293254aec5ddb38bd523503252/detect.caffemodel”,“unlinkText”:“取消链接”},"这个地方卡住了，可以手动下载放到构建的缓存目录中，路径为：
   • /opencv_build/build/downloads/wechat_qrcode/

6. import cv2报错：

>>> import cv2Traceback (most recent call last):File "<stdin>", line 1, in <module>File "/home/a/anaconda3/envs/opencvcuda/lib/python3.9/site-packages/cv2/__init__.py", line 181, in <module>bootstrap()File "/home/a/anaconda3/envs/opencvcuda/lib/python3.9/site-packages/cv2/__init__.py", line 153, in bootstrapnative_module = importlib.import_module("cv2")File "/home/a/anaconda3/envs/opencvcuda/lib/python3.9/importlib/__init__.py", line 127, in import_modulereturn _bootstrap._gcd_import(name[level:], package, level)ImportError: /home/a/anaconda3/envs/opencvcuda/lib/libstdc++.so.6: version `GLIBCXX_3.4.30' not found (required by /home/a/anaconda3/envs/opencvcuda/lib/libopencv_gapi.so.408)

原因：conda环境中的 libstdc++.so.6 （来自 libstdcxx-ng 包）版本过低，无法满足OpenCV编译库 libopencv_gapi.so.408 对 GLIBCXX_3.4.30 的依赖。
最好的解决方法是更新 libstdcxx-ng 包，比如：conda install libstdcxx-ng=13.2.0，但是我的环境无法获取到这个版本，只能获取到11.2的，当然你也可以升级conda，我选择的方式是到Anaconda.org查找目标版本，下载后手动安装：conda install /path/to/downloaded/libstdcxx-ng-13.2.0-hc0a3c3a_8.conda
7. 验证过程中：对于 libgstgtk.so 的 Wayland 错误：：

sudo apt-get install gstreamer1.0-gl libwayland-dev

对于 libgstqmlgl.so 的 Qt 错误：

sudo apt-get install qtwayland5 libqt5waylandclient5-dev

通过以上步骤，你可以在Conda环境中成功编译并使用支持CUDA和GStreamer的OpenCV版本，同时保持与系统环境的隔离。