当前位置：首页 > news >正文

计算机视觉之三维重建（深入浅出SfM与SLAM核心算法）—— 3. 单视几何

news 来源：原创 2025/6/14 6:34:58

文章目录

1. 前置知识
- 1.1. 旋转变换与缩放变换
- 1.2. 相似变换
- 1.3. 仿射变换
- 1.4. 透视变换
2. 单视测量
- 2.1. 无穷远点、无穷远线与无穷远平面
- - 2.1.1. 2D 平面
  - 2.1.2. 3D 空间
- 2.2. 影消点和影消线
- - 2.2.1. 2D 平面
- 2.3. 单视重构
3. 总结

课程视频链接：计算机视觉之三维重建（深入浅出SfM与SLAM核心算法）——3.单视几何。

1. 前置知识

1.1. 旋转变换与缩放变换

我们不加证明地给出 2D 和 3D 空间的旋转变换矩阵，其中 2D 空间的旋转矩阵如下图所示：
在这里插入图片描述
而 3D 空间的旋转矩阵为：
$\mathbf{R} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & \cos \alpha & -\sin \alpha \\ 0 & \sin \alpha & \cos \alpha \end{pmatrix} \begin{pmatrix} \cos \beta & 0 & \sin \beta \\ 0 & 1 & 0 \\ -\sin \beta & 0 & \cos \beta \end{pmatrix} \begin{pmatrix} \cos \gamma & -\sin \gamma & 0 \\ \sin \gamma & \cos \gamma & 0 \\ 0 & 0 & 1 \end{pmatrix}$ 其中， $\alpha, \beta, \gamma$ 分别为绕 $X, Y, Z$ 轴逆时针旋转的角度。
2D 和 3D 空间下的缩放变换如下：
$\begin{pmatrix} x' \\ y' \\ 1 \end{pmatrix} = \begin{pmatrix} s & 0 & 0 \\ 0 & s & 0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} x \\ y \\ 1 \end{pmatrix}$ $\begin{pmatrix} x' \\ y' \\ z' \\ 1 \end{pmatrix} = \begin{pmatrix} s & 0 & 0 & 0 \\ 0 & s & 0 & 0 \\ 0 & 0 & s & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} x \\ y \\ z \\ 1 \end{pmatrix}$

1.2. 相似变换

相似变换是指保持图形相似的变换，可由缩放变换与欧式变换合成。相似变换矩阵如下所示：
$\begin{pmatrix} s \mathbf{R} & t \\ 0 & 1 \end{pmatrix} x = \mathbf{H_s} x$ 其中， $t$ 为平移向量， $s$ 为缩放因子， $\mathbf{R} 为旋转矩阵$ 。
相似变换的特点有：

点变换到点，线变换到线
保持点的共线（面）性、线的共面性
保持直线与直线、直线与平面、平面与平面的平行性不变
保持角度不变

相似变换矩阵在 2D 空间和 3D 空间分别有 1 个自由度和 4 个自由度。相似变换示例如下所示：
在这里插入图片描述

1.3. 仿射变换

以 2D 空间为例，我们将相似变换矩阵 $\mathbf{H_s}$ 中的 $\mathbf{R}$ 一般化为 $\begin{pmatrix} a & b \\ c & d \end{pmatrix}$ ，则可得仿射变换：
$\begin{pmatrix} x' \\ y' \\ 1\end{pmatrix} = \begin{pmatrix} a & b & x_0 \\ c & d & y_0 \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} x \\ y \\ 1 \end{pmatrix} \Rightarrow x' = \begin{pmatrix} A & t \\ 0 & 1 \end{pmatrix} x = H_\alpha x$ 3D 空间的仿射变换矩阵如下所示：
在这里插入图片描述
仿射变换的特点有：

保持无穷远平面不变（无穷远点变换到无穷远点）
保持直线与直线、直线与平面、平面与平面的平行性不变

仿射变换示例如下：
在这里插入图片描述

1.4. 透视变换

将仿射变换矩阵底部为 0 的那一行一般化为任意数，即可得透视变换。2D 空间的透视变换如下：
$\begin{equation} \begin{pmatrix} x' \\ y' \\ 1 \end{pmatrix} = \begin{pmatrix} a & b & x_0 \\ c & d & y_0 \\ v_1 & v_2 & 1 \end{pmatrix} \begin{pmatrix} x \\ y \\ 1 \end{pmatrix} \Rightarrow x' = \begin{pmatrix} \mathbf{A} & t \\ v^T & 1 \end{pmatrix} \mathbf{x} = \mathbf{H} x \end{equation}$ 3D 空间的透视变换矩阵如下图所示：
在这里插入图片描述
透视变换的特点有：点变换到点，线变换到线，保持点的共线（面）性、线的共面性。
透视变换示例如下：

2. 单视测量

完成相机标定后，给定一个像素坐标，我们并不能唯一确定其所对应的空间点位置。因为沿相机光心与该像素点形成的反向投影射线上的所有点都可能投影到该像素上，如下图所示：
在这里插入图片描述
单图像三维重建是非常困难的，但通过引入场景先验约束，仍可恢复部分甚至完整的场景结构。下面我们来了解其实现原理与方法。

2.1. 无穷远点、无穷远线与无穷远平面

2.1.1. 2D 平面

在 2D 平面上，直线的方程为 $ax_1 + bx_2 + c = 0$ 。不妨令 $\begin{pmatrix} a \\ b \\ c \end{pmatrix}$ ， $\begin{pmatrix} x_1 \\ x_2 \\ 1 \end{pmatrix}$ ，则直线方程可以表述为 $l^Tx = 0$ 或者 $x^Tl = 0$ 。
现在我们来证明：假设有两条直线 $l$ 和 $l^{'}$ ，则两条直线交点为 $\times l'$ 。
证：
令 $\times l'$ ，则 $\perp l$ ，即有 $\cdot l = 0$ ，所以 $\in l$ 。同理可得， $\in l'$ 。所以， $x$ 为直线 $l$ 和 $l^{'}$ 的交点。
证毕。
通过引入齐次坐标后，我们可以很容易地表示无穷远点，即 $x_{\infty} = \begin{pmatrix} x \\ y \\ 0 \end{pmatrix}$ 。
假设存在两条平行线 $\begin{pmatrix} a \\ b \\ c \end{pmatrix}$ 和 $\begin{pmatrix} a' \\ b' \\ c' \end{pmatrix}$ 且 $\dfrac{a}{b} = \dfrac{a'}{b'}$ ，现在我们来证明 $l$ 和 $l^{'}$ 相交于无穷远点 $x_{\infty} = \begin{pmatrix} b \\ -a \\ 0 \end{pmatrix}$ 。
证：
因为 $l^T x_{\infty} = (a \quad b \quad c) \begin{pmatrix} b \\ -a \\ 0 \end{pmatrix}$ = 0，所以直线 $l$ 穿过无穷远点 $x_{\infty}$ 。同理可得， $l^{'}$ 也穿过无穷远点 $x_{\infty}$ 。所以，两条直线 $l$ 和 $l^{'}$ 相交于无穷远点 $x_{\infty}$ 。
证毕。
此外，我们还可以证明无穷远点集位于称为无穷远线的一条线上，如下图所示：
在这里插入图片描述

2.1.2. 3D 空间

在 3D 空间中，已知平面的法向量 $\vec{n} = \begin{pmatrix} a \\ b \\ c \end{pmatrix}$ 和平面上的一点 $P_0 = \begin{pmatrix} x_0 \\ y_0 \\ z_0 \end{pmatrix}$ ，即可确定平面的方程： $\vec{n} \cdot \overrightarrow{P_0 P} = 0 \Rightarrow a(x - x_0) + b(y - y_0) + c(z - z_0) = 0 \Rightarrow ax + by + cz - (ax_0 + by_0 + cz_0) = 0$ ，令 $d = -(ax_0 + by_0 + cz_0)$ 即有平面方程为： $a x + b y + cz + d = 0$ 。
取 $\Pi = \begin{pmatrix} a \\ b \\ c \\ d \end{pmatrix}$ ， $\begin{pmatrix} x \\ y \\ z \\ 1 \end{pmatrix}$ ，则平面方程为 $\Pi^Tx=0$ 或者 $x^T\Pi = 0$ 。
在这里插入图片描述
类似于 2D 空间的无穷远点，在 3D 空间中两条平行线相交于无穷远点 $x_{\infty} = \begin{pmatrix} a \\ b \\ c \\ 0 \end{pmatrix}$ 。

2.2. 影消点和影消线

2.2.1. 2D 平面

2D 平面上无穷远点的变换如下图所示：
在这里插入图片描述
2D 平面上直线的变换如下图所示：

值得注意的是，2D 平面上的无穷远线经过透视变换后不再是无穷远线，如下图所示：

影消点是指三维空间中的无穷远点在图像平面上的投影点，如下图所示：

影消点的计算方法如下：
在这里插入图片描述
无穷远直线：同一平面内所有平行线的无穷远点构成一条直线。
无穷远平面：多个平行平面对应的无穷远线集合构成无穷远平面。
影消线又称消失线或视平线，是指三维空间中无穷远平面（或特定平面上的无穷远直线）在二维图像平面上的投影线，如下图所示：
在这里插入图片描述
假设 3D 空间存在无穷远线 $l_{\infty}$ ，且透视矩阵为 $\mathbf{H}$ ，则 $l_{\infty}$ 投影到图像上为影消线 $l^{'}$ 且 $(\mathbf{H}^{-1})^{T}l$ 。证明如下：
设 $x_1$ 和 $x_2$ 为 $l_{\infty}$ 上的两点，且这两点分别对应于图像中的 $x_1'$ 和 $x_2'$ ，且有
$\begin{cases} x_1' = Hx_1 \\ x_2' = Hx_2 \end{cases}$ 则有： $(x_2' - x_1') = H(x_2 - x_1) \Rightarrow l'_{\infty} = \mathbf{H} l_{\infty} \Rightarrow l' = \mathbf{H}^{-T} l_{\infty}$ 。
证毕。
下图中位于中间的直线是影消线，它由三维空间中铁轨所在平面的无穷远线经透视投影得到。在三维空间中，平行铁轨延伸相交于无穷远点，这些点构成该平面的无穷远线，该线投影至图像平面即形成影消线。
在这里插入图片描述
图像中两条直线的交点如果在影消线上，则这两条线是 3D 空间中的平行线。研究已证实识别影消线有助于三维场景的重构。
影消线与平面法向量的关系如下：

将前面推导出的数学公式总结如下：

2.3. 单视重构

假设空间中存在两组平行线，这两组平行线的方向向量为 $\overrightarrow{d_1}$ 和 $\overrightarrow{d_2}$ ，而 $x_{2\infty}$ 和 $x_{1\infty}$ 分为这两组平行线上的无穷远点， $x_{2\infty}$ 和 $x_{1\infty}$ 经过透视变换投影到图像平面上的 $v_2$ 和 $v_1$ ，根据影消点可以推出两组平行线的方向向量，公式如下：
$\dfrac{K^{-1}v}{\|K^{-1}v\|}$
在这里插入图片描述
$\omega$ 的性质如图所示：

$\mathbf{K} \mathbf{K^T}$ 的展开式如下： $\begin{align*} \mathbf{K} \mathbf{K^T} &= \begin{pmatrix} \alpha & -\alpha \cot \theta & c_x \\ 0 & \dfrac{\beta}{\sin \theta} & c_y \\ 0 & 0 & 1 \end{pmatrix} \begin{pmatrix} \alpha & 0 & 0 \\ -\alpha \cot \theta & \dfrac{\beta}{\sin \theta} & 0 \\ c_x & c_y & 1 \end{pmatrix} \\ &= \begin{pmatrix} \alpha^2 + \alpha^2 \cot^2 \theta + c_x^2 & -\alpha \cot \theta \dfrac{\beta}{\sin \theta} + c_x c_y & c_x \\ \\ -\alpha \cot \theta \dfrac{\beta}{\sin \theta} + c_x c_y & \dfrac{\beta^2}{\sin^2 \theta} + c_y^2 & c_y \\ \\ c_x & c_y & 1 \end{pmatrix} \\ &=\begin{pmatrix} \dfrac{\alpha^2}{\sin^2 \theta} + c_x^2 & c_x c_y - \dfrac{\alpha \beta \cos \theta}{\sin^2 \theta} & c_x \\ \\ c_x c_y - \dfrac{\alpha \beta \cos \theta}{\sin^2 \theta} & c_y^2 + \dfrac{\beta^2}{\sin^2 \theta} & c_y \\ \\ c_x & c_y & 1 \end{pmatrix} \end{align*}$ 则有：
$\omega = (\mathbf{K} \mathbf{K^T})^{-1} = \left( \begin{matrix} \dfrac{1}{\alpha^{2}} & \dfrac{\cos{\theta}}{\alpha \beta} & - \dfrac{c_{y} \cos{\theta}}{\alpha \beta} - \dfrac{c_{x}}{\alpha^{2}} \\ \\ \dfrac{\cos{\theta}}{\alpha \beta} & \dfrac{1}{\beta^{2}} & - \dfrac{c_{y}}{\beta^{2}} - \dfrac{c_{x} \cos{\theta}}{\alpha \beta}\\\\ - \dfrac{c_{y} \cos{\theta}}{\alpha \beta} - \dfrac{c_{x}}{\alpha^{2}} & - \dfrac{c_{y}}{\beta^{2}} - \dfrac{c_{x} \cos{\theta}}{\alpha \beta} & 1 + \dfrac{c_{y}^{2}}{\beta^{2}} + \dfrac{2 c_{x} c_{y} \cos{\theta}}{\alpha \beta} + \dfrac{c_{x}^{2}}{\alpha^{2}}\end{matrix}\right)$ 上述 ${(\mathbf{K}\mathbf{K^T})}^{-1}$ 是使用下面代码计算得到的：

from sympy import symbols, sin, cos, Matrix, simplify
from sympy.printing.latex import print_latexalpha, beta, theta, c_x, c_y = symbols('alpha beta theta c_x c_y')
A = Matrix([[alpha**2/sin(theta)**2 + c_x**2, c_x*c_y - alpha*beta*cos(theta)/sin(theta)**2, c_x],[c_x*c_y - alpha*beta*cos(theta)/sin(theta)**2, c_y**2 + beta**2/sin(theta)**2, c_y],[c_x, c_y, 1]
])
A_inv = A.inv()simplified_A_inv = simplify(A_inv)
print_latex(simplified_A_inv)

显然， $\omega$ 为对称阵。
当 $\omega_2 = 0$ 时，有 $\dfrac{\cos\theta}{\alpha\beta} = 0$ ，所以 $\theta = \dfrac{\pi}{2}$ ，所以为零倾斜。
当 $\omega_1 = \omega_3$ 时，有 $\dfrac{1}{\alpha^2} = \dfrac{1}{\beta^2} \Rightarrow \alpha = \beta$ ，所以 $\omega_2 = 0$ 且 $\omega_1 = \omega_3$ 可以推出方形像素。

单视图标定的方法如下图所示：
在这里插入图片描述
求解相机内参矩阵 $\mathbf{K}$ 后，通过场景平面在图像中的影消线 $l_h$ 计算其法向量： $\mathbf{K} l_h$ 。随后，还需结合几何约束优化、深度信息推断及隐式表面重建算法恢复场景的三维结构，如下图所示：
在这里插入图片描述
单视图三维重建无法完全恢复真实场景的绝对尺度与细节，如下图所示：

单视图重构的缺点如下：