使用 C/C++ 和 OpenCV DNN 进行人体姿态估计
使用 C++ 和 OpenCV DNN 进行人体姿态估计
本文将介绍如何使用 C++ 和 OpenCV 的深度神经网络（DNN）模块来识别人类肢体，即进行人体姿态估计 (Human Pose Estimation)。我们的目标是读取一张包含人物的图片，并检测出人体的关键点（如头部、肩膀、手腕等），然后将这些关键点连接起来，形成一个“骨架”。
📝 核心概念
-
姿态估计: 这个任务的目标是识别人体图像中的关键关节（Keypoints）。这些关节的集合可以勾勒出人体的姿态和骨架。
-
OpenCV DNN 模块: OpenCV 提供了一个功能强大的
cv::dnn模块，它能够加载预先训练好的深度学习模型并进行推理（Inference）。我们不需要自己训练模型，而是使用社区已经训练好的模型文件。 -
预训练模型: 我们将使用一个基于 OpenPose 并且适用于 MPII (Max Planck Institute for Informatics) 数据集的模型。这个模型由两个文件组成：
pose/mpi/pose_deploy_linevec_faster_4_stages.prototxt: 模型的网络结构定义文件。pose/mpi/pose_iter_160000.caffemodel: 模型的预训练权重文件。
-
热力图 (Heatmaps): 模型在进行推理后，不会直接返回关节点坐标。它会为每个关节点（如左肩、右膝）生成一张热力图。热力图上每个像素的亮度代表该位置是对应关节点的置信度。我们只需要在每张热力图上找到最亮的点，就能确定关节点的位置。
🛠️ 环境准备
在开始编码之前，请确保你已经准备好以下环境：
- C++ 编译器: 如 G++, Clang, 或 MSVC。
- OpenCV 库: 确保你安装的 OpenCV 版本包含了
dnn和highgui模块。你可以从 OpenCV 官网 下载。 - 预训练模型文件:
- 创建一个名为
models的文件夹。 - 下载模型文件并将它们放入
models文件夹。你可以从 OpenCV 的 GitHub 仓库 获取：- pose_deploy_linevec_faster_4_stages.prototxt (下载后可重命名)
- pose_iter_160000.caffemodel
- 创建一个名为
💻 代码实现
我们将整个过程分解为加载模型、图像预处理、模型推理、解析结果和绘制骨架几个步骤。
1. 包含头文件和定义常量
首先，我们需要包含必要的 OpenCV 头文件，并定义一些常量，比如模型的输入尺寸和关节点的配对关系。
#include <iostream>
#include <opencv2/dnn.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>// 使用 MPII 数据集训练的模型，它定义了15个关节点
const int nPoints = 15;// 定义关节点之间的连接关系
// 例如 {0, 1} 表示连接第0个关节点（头）和第1个关节点（颈）
const int POSE_PAIRS[14][2] = {{0, 1}, {1, 2}, {2, 3}, {3, 4}, // 右臂{1, 5}, {5, 6}, {6, 7}, // 左臂{1, 14}, {14, 8}, {8, 9}, {9, 10}, // 右腿{14, 11}, {11, 12}, {12, 13} // 左腿
};
2. 主函数和模型加载
在 main 函数中，我们首先加载 Caffe 模型，然后读取待处理的图像。
int main(int argc, char **argv) {// ---- 模型和图像路径 ----std::string protoFile = "models/pose_deploy_linevec_faster_4_stages.prototxt";std::string weightsFile = "models/pose_iter_160000.caffemodel";std::string imageFile = "person.jpg"; // 替换成你自己的图片路径if (argc > 1) {imageFile = argv[1];}// ---- 加载网络 ----cv::dnn::Net net = cv::dnn::readNetFromCaffe(protoFile, weightsFile);if (net.empty()) {std::cerr << "Error: Could not load the network." << std::endl;return -1;}// ---- 读取并处理图像 ----cv::Mat frame = cv::imread(imageFile);if (frame.empty()) {std::cerr << "Error: Could not read the image." << std::endl;return -1;}cv::Mat frameCopy = frame.clone();
3. 图像预处理与模型推理
神经网络需要特定格式的输入。我们使用 cv::dnn::blobFromImage 函数来创建一个 “blob”，它将图像转换成适合网络输入的格式。然后，执行 net.forward() 进行推理。
// ---- 准备输入 ----int inWidth = 368;int inHeight = 368;double thresh = 0.1; // 置信度阈值// 将图像转换为 blobcv::Mat inpBlob = cv::dnn::blobFromImage(frame, 1.0 / 255, cv::Size(inWidth, inHeight), cv::Scalar(0, 0, 0), false, false);// 设置网络输入net.setInput(inpBlob);// ---- 进行推理 ----// net.forward() 返回一个 4D Mat，维度是 (1, num_parts, height, width)cv::Mat output = net.forward();int H = output.size[2];int W = output.size[3];
4. 解析输出并定位关键点
推理的输出是包含了所有关节点热力图的 Mat 对象。我们需要遍历每一张热力图，使用 cv::minMaxLoc 找到置信度最高的点，并将其坐标记录下来。
// ---- 寻找关键点 ----std::vector<cv::Point> points(nPoints);for (int n = 0; n < nPoints; n++) {// 获取第 n 个关节点的热力图cv::Mat heatMap(H, W, CV_32F, output.ptr(0, n));// 寻找热力图中的最大值及其位置double conf;cv::Point point;cv::minMaxLoc(heatMap, 0, &conf, 0, &point);// 如果置信度大于阈值，则记录该点if (conf > thresh) {// 将坐标从热力图尺寸映射回原图尺寸int x = (int)((float)frame.cols * point.x / W);int y = (int)((float)frame.rows * point.y / H);points[n] = cv::Point(x, y);} else {points[n] = cv::Point(-1, -1); // 标记为未检测到}}
5. 绘制骨架和显示结果
最后一步是根据我们之前定义的 POSE_PAIRS 数组，将检测到的关节点用线连接起来，形成骨架。我们也在每个关节点的位置画一个圆圈来使其更显眼。
// ---- 绘制骨架 ----for (int i = 0; i < 14; i++) {cv::Point2i partA = points[POSE_PAIRS[i][0]];cv::Point2i partB = points[POSE_PAIRS[i][1]];// 只绘制检测到的关节点之间的连线if (partA.x > 0 && partA.y > 0 && partB.x > 0 && partB.y > 0) {cv::line(frame, partA, partB, cv::Scalar(0, 255, 0), 2);cv::circle(frame, partA, 5, cv::Scalar(0, 0, 255), -1);cv::circle(frame, partB, 5, cv::Scalar(0, 0, 255), -1);}}// ---- 显示结果 ----cv::imshow("Pose Estimation", frame);cv::waitKey(0);return 0;
}
🚀 编译与运行
- 保存代码: 将上述所有代码片段整合到一个 C++ 文件中，例如
pose_estimation.cpp。 - 准备图片: 在项目目录下放一张名为
person.jpg的图片。 - 编译: 打开终端，使用以下命令进行编译（假设你使用
pkg-config来链接 OpenCV）：
注意：如果你的 OpenCV 版本不是 4，请将g++ -o pose_app pose_estimation.cpp $(pkg-config --cflags --libs opencv4)opencv4替换为你的版本，例如opencv。 - 运行:
或者指定一张不同的图片：./pose_app
程序运行后，会弹出一个窗口，显示带有骨架覆盖的图像。./pose_app path/to/your/image.jpg
总结
通过利用 OpenCV 的 DNN 模块和预训练的 Caffe 模型，我们可以相对轻松地在 C++ 中实现复杂的人体姿态估计功能。这个基础可以进一步扩展，例如应用在视频流上以实现实时的姿态跟踪，或者分析特定姿态以用于人机交互等应用。