小孔成像原理

一、总结与关键点

1. 核心思想：单目成像是一个从 3D 到 2D 的投影过程，这个过程是不可逆的。它丢失了深度信息 $Z_c$，这就是为什么从单张图片无法直接得到物体的真实深度（尺寸、远近）。

2. 坐标系和符号定义
   

坐标系	原点 O	X轴	Y轴	Z轴	坐标符号
世界坐标系	自定义	自定义	自定义	自定义	$(X_w,Y_w,Z_w)$
相机坐标系	光心	与成像平面的一条边平行	与成像平面的一条边平行	与光轴重合，指向相机正前方	$(X_c,Y_c,Z_c)$
成像坐标系	光轴 Z_c 与成像平面的交点，称为主点	水平向右	与X轴垂直，水平向下	无	$(x,y)$
像素坐标系	通常位于图像的左上角	水平向右	与X轴垂直，水平向下	无	$(u,v)$

3. 关键矩阵：

   • 内参矩阵 $\mathbf{K}$：相机固有属性，$(f_x,f_y)$ 是焦距，$(u_0,v_0)$ 是主点。

   • 外参矩阵 $[\mathbf{R}|\mathbf{t}]$：相机在世界中的位姿。

   • 投影矩阵 $\mathbf{P}$：$\mathbf{P}=\mathbf{K}[\mathbf{R}|\mathbf{t}]$，是整个成像过程的数学概括。

     现在，我们将外参变换和内参投影结合起来，得到从世界坐标到像素坐标的完整映射关系。

     $$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\underset{\text{投影矩阵}\mathbf{P}}{\underbrace{\underset{\text{内参矩阵 }\mathbf{K}}{\underbrace{\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]}}\underset{\text{外参矩阵}\mathbf{T}}{\underbrace{\left[\begin{array}{cc}\mathbf{R}& \mathbf{t}\\ 0^T& 1\end{array}\right]}}}}\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$

     通常，我们将内参矩阵 $\mathbf{K}$ 和外参矩阵 $[\mathbf{R}|\mathbf{t}]$ 合并为一个 3x4 的投影矩阵 $\mathbf{P}$：

     $\mathbf{P}=\mathbf{K}[\mathbf{R}|\mathbf{t}]$

     最终的成像模型可以简写为：
     $Z_c\cdot \mathbf{p}=\mathbf{P}\cdot {\mathbf{P}}_{\mathbf{w}}$
     其中 $\mathbf{p}=[u,v,1{]}^T$ 是像素齐次坐标，${\mathbf{P}}_{\mathbf{w}}=[X_w,Y_w,Z_w,1{]}^T$ 是世界齐次坐标。

二、过程推导

世界坐标系➡相机坐标系

相机坐标系和世界坐标系之间存在一个刚体变换（旋转 + 平移）。

• 两者的转换关系为：
  $P_c=\mathbf{R}\cdot P_w+\mathbf{t}$
  其中 $\mathbf{R}$ 是一个 3x3 的旋转矩阵，$\mathbf{t}$ 是一个 3x1 的平移向量。

• 写成齐次坐标形式：
  $\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}\mathbf{R}& \mathbf{t}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$

  我们将矩阵 $\left[\begin{array}{cc}\mathbf{R}& \mathbf{t}\\ 0^T& 1\end{array}\right]$ 称为相机外参矩阵。它描述了相机在世界坐标系中的位姿（位置和姿态）。

相机坐标系➡物理坐标系

1. 模型设定：

   • 在一个暗箱的前壁开一个无限小的孔 $O$（称为光心）。
   • 暗箱的后壁是成像平面。
   • 现实世界中的点 $P_c(X,Y,Z)$会发出一束光线。

2. 成像过程：

   • 这束光线中只有一条能穿过小孔 $O$，并打在成像平面的点 $p(x,y)$上。
   • 根据相似三角形原理，我们可以立即建立关系。

3. 相似三角形推导：
   我们从 Y-Z 平面看（X轴同理）：

   • 三角形 PAO和 三角形 PBO 是相似三角形。
   • 因此，有比例关系：
     $\frac{Z}{f}=\frac{Y}{y}$
     其中 f 是暗箱的深度，即光心 O 到成像平面的距离，称为焦距。
   • 注意：由于光是直线传播且小孔无限小，成的像是倒立的。为了数学上的方便，我们通常会将成像平面对称地移动到光心前方（虚拟成像平面），这样得到的像是正立的，且数学关系不变。如下图所示（想象将成像平面从虚线位置移到实线位置）：
     

   根据相似三角形，关系变为：
   $\frac{Z}{f}=\frac{Y}{y}=\frac{X}{x}$

4. 得到基础公式：
   由上式，我们可以立即得到：
   $x=f\cdot \frac{X}{Z}$
   $y=f\cdot \cdot \frac{Y}{Z}$

   这组公式描述了三维世界点 P 和其二维投影点 p 之间最核心的关系。

物理坐标系➡像素坐标系

我们需要将物理坐标 $(x,y)$ 转换到像素坐标 $(u,v)$。

• 平移：主点 $o$在像素坐标系下通常不在 $(0,0)$，而是 $(u_0,v_0)$。所以需要平移。
  $u=\frac{x}{dx}+u_0$
  $v=\frac{y}{dy}+v_0$
  这里 $dx$ 和 $dy$ 分别表示图像传感器上一个像素的物理宽度和高度（单位：mm/pixel）。$1/dx$ 和 $1/dy$可以理解为在 x 和 y 方向上的像素密度。

• 整合：将上一步的公式 $x=f\cdot X_c/Z_c$ 和 $y=f\cdot Y_c/Z_c$ 代入上式：
  $u=\frac{f}{dx}\cdot \frac{X_c}{Z_c}+u_0$
  $v=\frac{f}{dy}\cdot \frac{Y_c}{Z_c}+v_0$

  我们令 $f_x=\frac{f}{dx}$, $f_y=\frac{f}{dy}$。$f_x$和 $f_y$ 就是以像素为单位的焦距。由于制造工艺问题，$f_x$和 $f_y$可能略有不同。