探索相机成像的奥秘 - 齐次坐标、径向失真和图像传感器倾斜

引言

大家好！今天我们将一起探索相机成像背后的一些关键技术概念：齐次坐标、径向失真和图像传感器倾斜。这些概念对于理解相机如何捕捉和处理图像至关重要。我们将通过简单易懂的语言和严谨的公式来详细解释这些概念。

齐次坐标（Homogeneous Coordinates）

什么是齐次坐标？

齐次坐标是射影几何中使用的一种坐标系统，它允许我们用有限的坐标表示无穷远的点，并且简化了许多几何变换的公式。在齐次坐标中，我们通过在n维笛卡尔向量后面添加一个1来获得齐次向量。

齐次坐标的优势

1. 表示无穷远点：在齐次坐标中，无穷远点可以用有限的坐标表示。例如，在2D空间中，点 ((x, y, 0)) 表示一个无穷远点，其方向由 ((x, y)) 确定。
2. 简化公式：齐次坐标可以简化许多几何变换的公式。例如，仿射变换（包括平移、旋转、缩放等）可以用一个线性齐次变换矩阵来表示。

齐次坐标的变换

齐次坐标允许我们用矩阵乘法来表示各种几何变换。例如，一个3D点 (P_w = (X_w, Y_w, Z_w, 1)) 可以通过一个4×4的齐次变换矩阵 (T) 变换到另一个坐标系：

$$P_c=T{P}_w$$

其中：

• (P_c) 是变换后的点。
• (T) 是齐次变换矩阵，包含了旋转、平移、缩放等变换信息。

径向失真

什么是径向失真？

实际镜头通常会有失真，主要是径向失真和切向失真。径向失真是指图像边缘的点偏离直线路径的现象。

径向失真模型

1. 基本公式：
   $$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}{f}_x{x}^{\prime \prime }+c_x\\ f_y{y}^{\prime \prime }+c_y\end{array}\right]$$

   • (u, v) 是图像上的坐标。
   • (f_x, f_y) 是相机的焦距。
   • (c_x, c_y) 是主点坐标。
   • (x’‘, y’') 是经过径向失真校正后的坐标。

2. 径向失真校正：
   $$\left[\begin{array}{c}{x}^{\prime \prime }\\ y^{\prime \prime }\end{array}\right]=\left[\begin{array}{c}\frac{x^{\prime }}{1+k_1{r}^2+k_2{r}^4+k_3{r}^6}\\ \frac{y^{\prime }}{1+k_1{r}^2+k_2{r}^4+k_3{r}^6}\end{array}\right]$$

   • (r^2 = x’^2 + y’^2)
   • (k_1, k_2, k_3) 是径向失真系数。

图像传感器倾斜

什么是图像传感器倾斜？

在某些情况下，图像传感器可能会倾斜，导致透视失真。这种失真可以通过旋转变换来校正。

倾斜模型

1. 基本公式：
   $$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}{f}_x{x}^{\prime \prime \prime }+c_x\\ f_y{y}^{\prime \prime \prime }+c_y\end{array}\right]$$

   • (x’‘’, y’‘’) 是经过倾斜校正后的坐标。

2. 倾斜校正：
   $$\left[\begin{array}{c}{x}^{\prime \prime \prime }\\ y^{\prime \prime \prime }\end{array}\right]=\left[\begin{array}{ccc}{R}_{33}({\tau }_z,{\tau }_y)& 0& -R_{13}({\tau }_z,{\tau }_y)\\ 0& R_{33}({\tau }_z,{\tau }_y)& -R_{23}({\tau }_z,{\tau }_y)\\ 1& 0& 0\end{array}\right]\left[\begin{array}{c}{x}^{\prime \prime }\\ y^{\prime \prime }\\ 1\end{array}\right]$$

   其中，旋转矩阵 (R(\tau_x, \tau_y)) 定义为：
   $$R({\tau }_x,{\tau }_y)=\left[\begin{array}{ccc}\cos ({\tau }_y)& 0& -\sin ({\tau }_y)\\ 0& 1& 0\\ \sin ({\tau }_y)& 0& \cos ({\tau }_y)\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos ({\tau }_z)& \sin ({\tau }_z)\\ 0& -\sin ({\tau }_z)& \cos ({\tau }_z)\end{array}\right]$$

   简化后的旋转矩阵：
   $$R({\tau }_x,{\tau }_y)=\left[\begin{array}{ccc}\cos ({\tau }_y)\cos ({\tau }_z)& -\sin ({\tau }_y)\cos ({\tau }_z)& \sin ({\tau }_z)\\ \cos ({\tau }_y)\sin ({\tau }_z)& \sin ({\tau }_y)\sin ({\tau }_z)& -\cos ({\tau }_z)\\ -\sin ({\tau }_y)& \cos ({\tau }_y)& 0\end{array}\right]$$

3. 应用旋转变换：
   $$\left[\begin{array}{c}{x}^{\prime \prime \prime }\\ y^{\prime \prime \prime }\\ 1\end{array}\right]=\left[\begin{array}{ccc}\cos ({\tau }_y)\cos ({\tau }_z)& \cos ({\tau }_y)\sin ({\tau }_z)& -\sin ({\tau }_y)\\ -\sin ({\tau }_y)\cos ({\tau }_z)& \sin ({\tau }_y)\sin ({\tau }_z)& \cos ({\tau }_y)\\ \sin ({\tau }_z)& -\cos ({\tau }_z)& 0\end{array}\right]\left[\begin{array}{c}{x}^{\prime \prime }\\ y^{\prime \prime }\\ 1\end{array}\right]$$

4. 最终投影公式：
   $$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}{f}_x{x}^{\prime \prime \prime }+c_x\\ f_y{y}^{\prime \prime \prime }+c_y\end{array}\right]$$

通过上述步骤，我们可以得到校正后的图像坐标 ((u, v))，从而消除由于图像传感器倾斜引起的透视失真。

总结

• 齐次坐标：通过在笛卡尔坐标后面添加一个1来获得齐次向量，简化了许多几何变换的公式。
• 径向失真校正：通过径向失真系数 (k_1, k_2, k_3) 校正图像边缘的失真。
• 图像传感器倾斜校正：通过旋转变换矩阵 (R(\tau_x, \tau_y)) 校正由于传感器倾斜引起的透视失真。

希望这篇文章能帮助你更好地理解相机中的齐次坐标、径向失真和传感器倾斜校正！