当前位置： 首页 > news >正文

OpenCV 视频处理与摄像头操作详解

news 2025/7/15 6:27:20

1. 引言

大家都来写OpenCV😊，学的好开心！

2. 视频基础与OpenCV简介

2.1 视频的定义

视频（Video）是由一系列静态图像（帧）以一定速率连续播放形成的动态影像。其本质是利用人眼的视觉暂留效应，将静止的画面转化为连续的动态内容。视频通常包含画面、音频轨道，有时还包括字幕、特效等信息。

视频的主要应用领域
  • 影视娱乐
  • 教育培训
  • 安防监控
  • 通信与直播
  • 自动驾驶与智能交通

2.2 OpenCV简介

OpenCV（Open Source Computer Vision Library）是一个跨平台的计算机视觉和机器学习软件库，支持C++、Python等多种语言。它为视频处理、图像分析、机器学习等任务提供了高效的算法和接口。

3. 视频读写

3.1 视频的基本操作

图片转视频

将多张图片按顺序和时间间隔组合，添加转场、音乐、字幕等，生成视频。例如旅游纪念视频、照片合成动画等。

视频转图片

从视频中提取特定帧作为图片，用于精彩瞬间捕捉、视频封面、画面分析等。例如电影剧照、运动分析等。

3.2 OpenCV读取视频详解

OpenCV通过cv::VideoCapture类实现视频文件或摄像头流的读取。

代码示例
#include <opencv2/opencv.hpp>#include <iostream>using namespace cv;using namespace std;int main(){//1 指定视频文件路径创建VideoCapture VideoCapture cap("C:/Users/Administrator/Desktop/video/cat.mp4");//2 判断是否成功打开视频if (!cap.isOpened()){cout << "视频打开失败!" << endl;return -1;}//3 获取视频基本信息double width = cap.get(CAP_PROP_FRAME_WIDTH);double height = cap.get(CAP_PROP_FRAME_HEIGHT);double count = cap.get(CAP_PROP_FRAME_COUNT);double fps = cap.get(CAP_PROP_FPS);cout << "视频的宽=" << width << endl;cout << "视频的高=" << height << endl;cout << "视频的总帧数=" << count << endl;cout << "视频的fps=" << fps << endl;//4 逐帧读取视频并展示Mat frame;width = width * 0.2;height = height * 0.2;while (true){cap >> frame;if (frame.empty()){break;}Mat dst;resize(frame, dst, Size(width,height));Mat gray;cvtColor(dst, gray, COLOR_BGR2GRAY);imshow("video", dst);imshow("gray video", gray);if (waitKey(1000/fps) == 27){break;}}//5 释放资源cap.release();destroyAllWindows();return 0;}
视频属性表
属性名说明类型示例值
CAP_PROP_FRAME_WIDTH视频帧宽度（像素）double1920
CAP_PROP_FRAME_HEIGHT视频帧高度（像素）double1080
CAP_PROP_FPS视频帧率（帧/秒）double30.0
CAP_PROP_FRAME_COUNT视频总帧数double2500
CAP_PROP_POS_FRAMES当前帧索引（从0开始）double100
CAP_PROP_POS_MSEC当前时间戳（毫秒）double3500.0
CAP_PROP_FOURCC编解码器FourCC代码double1196444237
CAP_PROP_BRIGHTNESS摄像头亮度（仅摄像头有效）double0.5
CAP_PROP_CONTRAST摄像头对比度double0.3
CAP_PROP_SATURATION摄像头饱和度double0.8
CAP_PROP_EXPOSURE摄像头曝光值double-4.0
CAP_PROP_AUTOFOCUS自动对焦是否开启double1.0

3.3 视频保存与编码格式

OpenCV通过cv::VideoWriter类实现视频录制与保存。

FourCC编码格式
  • 'MJPG'：Motion-JPEG，常用于.avi文件
  • 'XVID'：XVID编码，适用于.avi文件
  • 'H264'：H.264编码，适用于.mp4文件（需安装OpenH264库）
视频保存代码示例
void writeVideo(VideoCapture& cap){cv::String fileName = "C:/Users/Administrator/Desktop/video/temp.avi";int fourcc = VideoWriter::fourcc('M', 'J', 'P', 'G');double width = cap.get(CAP_PROP_FRAME_WIDTH);double height = cap.get(CAP_PROP_FRAME_HEIGHT);double fps = cap.get(CAP_PROP_FPS);VideoWriter writer(fileName,fourcc,fps,Size(width,height),false);if (!writer.isOpened()){cout << "视频文件打开失败!" << endl;return;}Mat src;while (true){cap >> src;if (src.empty()){break;}Mat gray;cvtColor(src, gray, COLOR_BGR2GRAY);writer.write(gray);if (waitKey(30) == 27){break;}}cout << "已经成功保存视频" << endl;writer.release();}
视频保存流程
  1. 创建VideoWriter对象，指定文件名、编码格式、帧率、分辨率、是否彩色
  2. 判断文件是否成功打开
  3. 逐帧写入视频
  4. 释放资源

4. 视频追踪

4.1 视频追踪定义与应用

视频追踪（Video Tracking）是指在连续的视频帧中定位并跟踪特定目标（如人脸、车辆）的运动轨迹。广泛应用于：

  • 安防监控
  • 自动驾驶
  • 人机交互
  • 运动分析
视频追踪流程
  1. 目标检测：识别并定位目标
  2. 特征提取：提取目标特征（颜色、形状、纹理等）
  3. 模型更新：适应目标外观变化
  4. 位置预测与校正：预测目标位置并校正

4.2 Meanshift算法原理与实现

Meanshift算法定义

Meanshift是一种基于密度估计的非参数化聚类算法，广泛用于目标追踪。其核心思想是通过迭代将搜索窗口向目标区域的颜色直方图分布中心移动，实现目标定位。

直方图反向投影

直方图反向投影是指将目标区域的颜色分布映射到整幅图像，得到每个像素属于目标的概率图。

反向投影流程
  1. 选定目标区域，计算HSV直方图
  2. 对每一帧计算直方图
  3. 对比直方图，得到相似度
  4. 生成概率图，作为Meanshift输入
Meanshift代码解析
void meanshiftTest(VideoCapture& cap){Mat frame;cap >> frame;if (frame.empty()){cout << "无法读取视频帧" << endl;return;}Rect roi = selectROI("请选择追踪目标",frame,false);if (roi.width <= 0 || roi.height <= 0){cout << "已取消选择roi区域" << endl;return;}Mat target = frame(roi).clone();imshow("target", target);Mat hsv_target;cvtColor(target, hsv_target, COLOR_BGR2HSV);Mat mask;inRange(hsv_target, Scalar(0, 30, 0), Scalar(180, 255, 255), mask);int histSize = 180;float range[] = { 0,180 };const float* histRange = { range };Mat hist_target;int channels[] = { 0 };calcHist(&hsv_target, 1, channels, mask, hist_target, 1, &histSize, &histRange);normalize(hist_target, hist_target, 0,255, NORM_MINMAX);TermCriteria criteria(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);while (true){cap >> frame;if (frame.empty()){break;}Mat hsvFrame;cvtColor(frame, hsvFrame, COLOR_BGR2HSV);Mat back;calcBackProject(&hsvFrame, 1, channels, hist_target, back,&histRange);meanShift(back, roi, criteria);rectangle(frame, roi, Scalar(0, 255, 0));imshow("视频追踪", frame);if (waitKey(30) == 27){break;}}}
关键函数说明
  • selectROI：手动选择目标区域
  • calcHist：计算目标区域颜色直方图
  • normalize：归一化直方图
  • calcBackProject：计算反向投影概率图
  • meanShift：执行Meanshift迭代，更新目标位置
TermCriteria参数说明
参数类型说明
TermCriteria::EPS收敛到指定精度时终止
TermCriteria::COUNT达到最大迭代次数时终止
10最大迭代次数
1精度阈值（像素）

4.3 Camshift算法原理与实现

Camshift算法定义

Camshift（Continuously Adaptive Mean Shift）是Meanshift的改进版，能自适应调整搜索窗口的大小和方向，适合目标尺度和方向变化明显的场景。

Camshift实现流程
  1. 初始化目标模型，计算颜色直方图
  2. 定义搜索窗口
  3. 执行Meanshift迭代
  4. 根据目标分布调整窗口大小和方向
  5. 更新窗口位置，输出最佳拟合椭圆
Camshift代码解析
void camshiftTest(VideoCapture& cap){Mat frame;cap >> frame;if (frame.empty()){cout << "无法读取视频帧" << endl;return;}Rect roi = selectROI("请选择追踪目标", frame, false);if (roi.width <= 0 || roi.height <= 0){cout << "已取消选择roi区域" << endl;return;}Mat target = frame(roi).clone();imshow("target", target);Mat hsv_target;cvtColor(target, hsv_target, COLOR_BGR2HSV);Mat mask;inRange(hsv_target, Scalar(0, 60, 32), Scalar(180, 255, 255), mask);int histSize = 180;float range[] = { 0,180 };const float* histRange = { range };Mat hist_target;int channels[] = { 0 };calcHist(&hsv_target, 1, channels, mask, hist_target, 1, &histSize, &histRange);normalize(hist_target, hist_target, 0, 255, NORM_MINMAX);TermCriteria criteria(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);while (true){cap >> frame;if (frame.empty()){break;}Mat hsvFrame;cvtColor(frame, hsvFrame, COLOR_BGR2HSV);Mat back;calcBackProject(&hsvFrame, 1, channels, hist_target, back, &histRange);RotatedRect trackBox = CamShift(back, roi, criteria);rectangle(frame, roi, Scalar(0, 255, 0));//ellipse(frame, trackBox, Scalar(0, 0, 255), 2);imshow("视频追踪", frame);if (waitKey(30) == 27){break;}}}
Camshift返回值说明
  • RotatedRect：最佳拟合椭圆，包含中心位置、大小、旋转角度

4.4 Meanshift与Camshift对比分析

算法窗口大小适应目标变化适用场景实时性输出信息
Meanshift固定不适应目标大小不变极高位置
Camshift自适应适应目标尺度/方向变化较高位置+大小+方向
选择建议
  • 优先Meanshift：目标大小和方向基本不变，对实时性要求极高
  • 优先Camshift：目标尺度或方向变化明显，需要输出目标朝向信息

5. 摄像头实时处理

5.1 实时处理定义与应用

摄像头实时处理是指通过摄像头捕获视频流，对每一帧图像进行即时处理和分析，并实时显示或反馈结果。应用包括：

  • 实时人脸检测
  • 运动物体追踪
  • 增强现实（AR）效果

5.2 摄像头实时捕获与处理流程

  1. 打开摄像头（cv::VideoCapture）
  2. 逐帧读取视频流
  3. 对每一帧进行处理（如灰度化、边缘检测等）
  4. 实时显示处理结果（cv::imshow）
  5. 释放资源
摄像头实时处理代码解析
void cameraTest(){VideoCapture cap(0);cap.set(CAP_PROP_FRAME_WIDTH,680);cap.set(CAP_PROP_FRAME_HEIGHT, 480);Mat frame;while (true){cap >> frame;if (frame.empty()){cout << "无法读取摄像头帧" << endl;break;}Mat gray;cvtColor(frame, gray, COLOR_BGR2GRAY);imshow("实时帧", frame);imshow("灰度帧", gray);if (waitKey(30) == 27){break;}}cap.release();destroyAllWindows();}

5.3 实时视频处理应用举例

5.3.1 实时跟踪

利用Meanshift或Camshift算法对摄像头捕获内容进行实时目标跟踪。

void camShiftCameraTest(){VideoCapture cap(0);Mat frame;cap >> frame;if (frame.empty()){cout << "无法读取视频帧" << endl;return;}Rect roi = selectROI("请选择追踪目标", frame, false);if (roi.width <= 0 || roi.height <= 0){cout << "已取消选择roi区域" << endl;return;}Mat target = frame(roi).clone();imshow("target", target);Mat hsv_target;cvtColor(target, hsv_target, COLOR_BGR2HSV);Mat mask;inRange(hsv_target, Scalar(0, 60, 32), Scalar(180, 255, 255), mask);int histSize = 180;float range[] = { 0,180 };const float* histRange = { range };Mat hist_target;int channels[] = { 0 };calcHist(&hsv_target, 1, channels, mask, hist_target, 1, &histSize, &histRange);normalize(hist_target, hist_target, 0, 255, NORM_MINMAX);TermCriteria criteria(TermCriteria::EPS | TermCriteria::COUNT, 10, 1);while (true){cap >> frame;if (frame.empty()){break;}Mat hsvFrame;cvtColor(frame, hsvFrame, COLOR_BGR2HSV);Mat back;calcBackProject(&hsvFrame, 1, channels, hist_target, back, &histRange);RotatedRect trackBox = CamShift(back, roi, criteria);rectangle(frame, roi, Scalar(0, 255, 0));//ellipse(frame, trackBox, Scalar(0, 0, 255), 2);imshow("视频追踪", frame);if (waitKey(30) == 27){break;}}destroyAllWindows();}
5.3.2 实时边缘检测

通过摄像头实时捕获视频，使用Canny算法提取图像边缘。
​​​​​

void cameraCannyTest(){VideoCapture cap(0);cap.set(CAP_PROP_FRAME_WIDTH, 680);cap.set(CAP_PROP_FRAME_HEIGHT, 480);Mat frame;while (true){cap >> frame;if (frame.empty()){cout << "无法读取摄像头帧" << endl;break;}Mat gray;cvtColor(frame, gray, COLOR_BGR2GRAY);Mat blur;GaussianBlur(gray, blur, Size(3, 3),1.5);Mat dst;Canny(blur, dst, 50, 150);imshow("实时帧", frame);imshow("边缘检测", dst);if (waitKey(30) == 27){break;}}cap.release();destroyAllWindows();}
5.3.3 其他应用

摄像头实时捕获内容不仅能做跟踪和边缘检测，还可用于：

  • 实时人脸识别
  • 实时手势识别
  • 实时目标分割
  • 实时AR效果叠加

6. 总结与展望

好学，爱学，还得学！

http://www.dtcms.com/a/278669.html

相关文章：

  • 面试题--xxl-job分布式任务调度
  • 全面解析WOFOST与PCSE农作物生长模型；农作物生长和产量预测
  • 基于esp32系列的开源无线dap-link项目使用介绍
  • 空间智能-李飞飞团队工作总结（至2025.07）
  • 【工具】AndroidStudio修改中文语言汉化
  • Python数据容器-通用功能
  • 九、官方人格提示词汇总（中-1）
  • Usage of standard library is restricted (arkts-limited-stdlib) ＜ArkTSCheck＞
  • 【leetcode】231. 2的幂
  • 13.7 Meta LLaMA2-Chat核心技术突破：三重强化学习实现91.4%安全评分，超越ChatGPT的对话模型架构全解析
  • React 第六十九节 Router中renderMatches的使用详解及注意事项
  • 文档处理控件Aspose.Words教程：从 C# 中的 Word 文档中提取页面
  • 汽车工件工艺追溯管理系统软件设计（草稿）
  • 我的Qt八股文面试笔记1:信号与槽文件流操作
  • 持续优化小程序排名，稳定获取搜索流量
  • 【世纪龙科技】迈腾B8汽车整车检测与诊断仿真实训系统
  • vue中配置Eslint的步骤
  • 【世纪龙科技】汽车整车检测与诊断仿真实训系统-迈腾B8
  • Redis随笔
  • 算法学习笔记：21.动态规划——从原理到实战，涵盖 LeetCode 与考研 408 例题
  • Qt小组件 - 2（布局）瀑布流布局，GridLayout，FlowLayout
  • QT跨平台应用程序开发框架（7）—— 常用输入类控件
  • [Dify] -基础入门10- Dify 应用开发与 ChatGPT 的区别与优势分析
  • Sharding-Sphere学习专题（四）广播表和绑定表、分片审计
  • 【王树森推荐系统】物品冷启05：流量调控
  • ether.js—6—contractFactory以部署ERC20代币标准为例子
  • 设备树知识点
  • OneCode3.0 MCPServer：注解驱动的AI原生服务架构与实践
  • Python量化交易一体化解决方案
  • GStreamer 详解