【CV001】归一化互相关模板匹配matlab实现

Normalized Cross-Correlation (NCC) 的原理

Normalized Cross-Correlation (NCC) 是一种衡量两个信号或图像之间相似度的度量方法。它在图像处理、计算机视觉和信号处理等领域应用广泛，特别是在模板匹配（template matching）中。NCC 的目标是比较两个信号的相似性，并通过一个标准化的度量值来表征其相似度。

具体来说，NCC 衡量的是一个信号或图像片段（如模板）在另一个信号或图像中的相似度，并且通过标准化消除了信号的绝对强度差异。

Normalized Cross-Correlation 计算公式

对于两个信号（或图像） ff 和 gg，它们的 normalized cross-correlation 定义如下：

$$NCC(f,g)=\frac{{\sum }_{i,j}(f(i,j)-{\mu }_f)(g(i,j)-{\mu }_g)}{\sqrt{{\sum }_{i,j}(f(i,j)-{\mu }_f{)}^2{\sum }_{i,j}(g(i,j)-{\mu }_g{)}^2}}$$

其中：

• $f(i,j)$ 和 $g(i,j)$ 分别是两个信号或图像在位置 $(i,j)$ 处的值。
• ${\mu }_f$ 和 ${\mu }_g$ 分别是信号 $f$ 和 $g$ 的均值（即平均值）。
• 分子是信号 $f$ 和 $g$ 之间的协方差。
• 分母是标准差的乘积，用于标准化，确保 NCC 的结果在 $[-1,1]$ 范围内。

对于模板匹配的场景，NCC 的输出范围是从 -1 到 1，其中：

• $NCC=1$ 表示完全匹配。
• $NCC=0$ 表示无相关性。
• $NCC=-1$ 表示完全反相关。

优缺点

优点：

• 光照鲁棒性：归一化处理使其对光照变化不敏感。
• 量化直观：结果范围固定（$[-1,1]$），易于设置阈值判断匹配质量。
• 适用性广：可处理模糊图像、轻微形变及纹理丰富的场景。

缺点：

• 计算复杂度高：传统方法在大型图像上速度慢，需依赖优化（如积分图、金字塔分层）提升效率。
• 形变敏感：对旋转、缩放等几何变换适应性差，需结合特征点或尺度不变方法改进。
• 局部最优陷阱：可能受噪声干扰陷入局部最优匹配。

NCC 模板匹配

目前网上的 NCC 实际上是 ZNCC。

Zero-normalized cross-correlation (ZNCC)
$$\frac{1}{n}\sum _{x,y}\frac{1}{{\sigma }_f{\sigma }_g}\left(f(x,y)-u_f\right)\left(g(x,y)-u_g\right)$$

Normalized cross-correlation (NCC)
$$\frac{1}{n}\sum _{x,y}\frac{1}{{\sigma }_f{\sigma }_g}f(x,y)g(x,y)$$

$f$ 是参考图像，$g$ 是浮动图像。一般参考图像的大小要大于浮动图像。

模板匹配的过程，类似于以浮动图像为卷积核，对参考图像进行卷积运算的过程。

每次运算，浮动图像都整体进行计算，因此其均值和标准差均为常数。而参考图像则是以浮动图像为核进行的卷积运算，每次运算参与计算的是参考图像与浮动图像重合的子图。

卷积运算的输出大小为 $N_f-N_g+1$（即 valid 模式的卷积）。

在编程实现时，需要对 ZNCC 的公式进行化简：
$$\begin{array}{rl}& \frac{1}{n}\sum _i\left(f_i-u_f\right)\left(g_i-u_g\right)\\ & =\frac{1}{n}\sum _i\left(f_i{g}_i-u_g{f}_i-u_f{g}_i+u_f{u}_g\right)\\ & =\frac{1}{n}\sum _i{f}_i{g}_i-u_g\cdot \frac{1}{n}\sum f_i-u_f\cdot \frac{1}{n}\sum g_i+u_f{u}_g\\ & =\frac{1}{n}\sum _i{f}_i{g}_i-u_f{u}_g\end{array}$$
因此，ZNCC 与 NCC 存在转换关系：
$$\text{ZNCC}=\text{NCC}-\frac{u_f{u}_g}{{\sigma }_f{\sigma }_g}$$
ZNCC 运算时域实现主要涉及三次卷积运算：

• 计算 f 均值 E 矩阵
• 计算 f 的二阶矩 E2 矩阵
• 计算 f 与 g 的卷积

一般模板匹配的浮动图像较大，推荐在频域上进行实现。同时频域实现便于在频域上通过补零实现升采样以获取亚像素精度。

特别地，通过升采样获取亚像素精度，特别注意：当输入的参考图像存在极大值（远大于周围像素的值，均值矩阵在一个区域呈现为常量），插值的旁瓣影响可能被放大，得到的相关系数和偏移量可能不可靠，要谨慎采用！

Matlab 代码实现

hsCV.ncc 归一化互相关 matlab 实现版本，函数接口：

function [offset_x, offset_y, varargout] = ncc(ref_img, mov_img, varargin)
%hsCV.ncc 归一化互相关 matlab 实现版本
%
% Syntax:
%   [offset_x, offset_y] = hsCV.ncc(ref_img, mov_img [ ...
%               'ReferPadRadiusX', 0 ...
%               , 'ReferPadRadiusY', 0 ...
%               , 'EnableZero', true ...
%               , 'ResampleNum', 1]);
%   [offset_x, offset_y, output_option] = hsCV.ncc(___);
%   [offset_x, offset_y, response, max_rc] = hsCV.ncc(___);
%
% Params:
%   - refer_img        [required] [numeric; 2d] 参考图像, (补0后的参考图像大小应不小于浮动图像)
%   - move_img         [required] [numeric; 2d] 浮动图像
%   - ReferPadRadiusX  [namevalue] [numeric; scalar] 参考图像 x 方向两边填 0 的个数
%   - ReferPadRadiusY  [namevalue] [numeric; scalar] 参考图像 y 方向两边填 0 的个数
%   - EnableZero       [namevalue] [logical; scalar] 是否在相关运算中减去均值, 默认为true
%   - ResampleNum      [namevalue] [numeric; scalar] 重采样率, 大于 0 的整数
%
% Return:
%   - offset_x x方向偏移量, 相对于原图的左上角点
%   - offset_y y方向偏移量, 相对于原图的左上角点
%   - output_option 可选输出, 结构体
%       - m_response 响应值(重采样后)
%       - m_max_row 响应值最大值所在行(重采样后)
%       - m_max_col 响应值最大值所在列(重采样后)
%   - response 可选输出, 响应值(重采样后)
%   - max_rc 可选输出, 响应值最大值所在的行, 列

% 完整版见下载链接: https://pan.quark.cn/s/ac25d60c3ca7
end

代码演示如下：

运行结果:

代码下载：

网盘链接：https://pan.quark.cn/s/ac25d60c3ca7