当前位置：首页 > news >正文

桌面端截长图/滚动截图：图像融合拼接关键算法

news 来源：原创 2025/5/17 8:38:01

关键环节的实现逻辑

1. 滚动条滚动之前，为窗口拍照：

2. 滚动条滚动之后，为窗口拍照：（滚动的是左侧代码区域）

3. 两个图像融合拼接成一个图像：（右侧区域不是关键区域，仅简单拼接）

找到左侧关键区域子窗口句柄

POINT pt;
GetCursorPos(&pt);
HWND hwnd = WindowFromPoint(pt);

找到这个句柄之后，确定左侧核心区域在原图中的位置，并得到两个子图像：QImage image1和QImage image2

找两个子图像的相似区域（OpenCV算法）

注意1：两个子图像重叠的部分并不一定是所有像素都一样，所以必须使用图像相似性查找算法。

注意2：我们明确image1的底部区域与image2的顶部区域相似，所以以下代码中，我们只拿image2的顶部区域在image1中搜索（找相似区域）

#include "opencv2\opencv.hpp"QRect findMatchingRegion(const QImage& img1, const QImage& img2) {// 转换为 OpenCV Mat，确保格式为 RGB888cv::Mat mat1 = cv::Mat(img1.height(), img1.width(), CV_8UC3, (void*)img1.constBits(), img1.bytesPerLine()).clone();cv::Mat mat2 = cv::Mat(img2.height(), img2.width(), CV_8UC3, (void*)img2.constBits(), img2.bytesPerLine()).clone();// 结果图像大小：W - w + 1, H - h + 1int result_cols = mat1.cols - mat2.cols + 1;int result_rows = mat1.rows - mat2.rows + 1;cv::Mat result;result.create(result_rows, result_cols, CV_32FC1);// 进行模板匹配cv::matchTemplate(mat1, mat2, result, cv::TM_CCOEFF_NORMED);// 找到最大值的位置（最佳匹配）double minVal, maxVal;cv::Point minLoc, maxLoc;cv::minMaxLoc(result, &minVal, &maxVal, &minLoc, &maxLoc);// 匹配位置就是左上角坐标，宽高就是模板图像大小QRect matchedRegion(maxLoc.x, maxLoc.y, img2.width(), img2.height());return matchedRegion;
}


auto img1 = image1.convertToFormat(QImage::Format_RGB888);
auto img2 = image2.convertToFormat(QImage::Format_RGB888).copy(0, 0, image2.width(), 100);
auto r1 = findMatchingRegion(img1, img2);

这个算法返回的就是image1中与image2顶部100个像素区域相似的区域（在image1的底部）

找两个子图像的相似区域（自研算法）

OpenCV库太大了，得五六十兆，所以自己写了个算法

#include <QtConcurrent>
#include <QFuture>
#include <QMutex>struct MatchResult {int y;double error;
};MatchResult computeSSDAtY(int y, const QImage& gray1, const QImage& gray2) {const int width = gray1.width();const int blockHeight = gray2.height();double error = 0.0;const uchar* p1 = gray1.constBits() + y * gray1.bytesPerLine();const uchar* p2 = gray2.constBits();for (int row = 0; row < blockHeight; ++row) {const uchar* row1 = p1 + row * gray1.bytesPerLine();const uchar* row2 = p2 + row * gray2.bytesPerLine();for (int x = 0; x < width; ++x) {int diff = int(row1[x]) - int(row2[x]);error += diff * diff;}}return { y, error };
}QRect findMostSimilarRegionParallel(const QImage& gray1, const QImage& gray2) {const int searchHeight = gray1.height() - gray2.height() + 1;// 构造搜索区间QList<int> yList;for (int y = 0; y < searchHeight; ++y)yList.append(y);// 并行计算每个 y 的误差auto results = QtConcurrent::blockingMapped(yList,[&](int y) { return computeSSDAtY(y, gray1, gray2); });// 取最小误差的结果MatchResult best = *std::min_element(results.begin(), results.end(),[](const MatchResult& a, const MatchResult& b) {return a.error < b.error;});return QRect(0, best.y, gray2.width(), gray2.height());
}

auto img1 = img1.convertToFormat(QImage::Format_Grayscale8);
auto img2 = img2.convertToFormat(QImage::Format_Grayscale8);
auto r2 = findMostSimilarRegionParallel(img1, img2);

自己实现得算法用到了多线程（QtConcurrent库），效率也不错，跟OpenCV的算法相差不大。