当前位置：首页 > news >正文

【三维重建】【3DGS系列】【深度学习】3DGS的理论基础知识之如何控制高斯椭球

news 来源：原创 2025/5/24 11:39:56

【三维重建】【3DGS系列】【深度学习】3DGS的理论基础知识之如何控制高斯椭球

文章目录

【三维重建】【3DGS系列】【深度学习】3DGS的理论基础知识之如何控制高斯椭球
前言
仿射变换(Affine Transformation)
协方差矩阵控制椭球
总结

前言

在详细解析3DGS代码之前，首要任务是成功运行3DGS代码【win11下参考教程】，后续学习才有意义。本博客讲解3DGS中如何控制高斯椭球，不涉及具体的模块代码。

仿射变换(Affine Transformation)

仿射变换是一种几何变换，是对两种简单变换进行叠加：线性变换(旋转、缩放等)和平移变换。仿射变换保留了直线和平行线的关系，即将直线映射为直线，且原本平行的线仍然保持平行；但面积、距离(长度)和角度可能会发生变化。
仿射变换的数学定义 公式表示：
$y = A x + b$
在三维空间中，其中：
$x$ ：输入向量(原始坐标)，通常是一个3维向量 $\left[ {\begin{array}{c} {{x_1}}\\ {{x_2}}\\ {{x_3}} \end{array}} \right]$ ；
$y$ ：输出向量(变换后的坐标)，3维向量 $\left[ {\begin{array}{c} {{y_1}}\\ {{y_2}}\\ {{y_3}} \end{array}} \right]$ ；
$A$ ：线性变换，一个 $3 \times 3$ 的 $RS$ 矩阵；
$b$ ：平移变换 $T$ 。
平移(Translation)
平移操作通常通过向量加法来表示:
$\left[ {\begin{array}{c} {{y_1}}\\ {{y_2}}\\ {{y_3}} \end{array}} \right] = \left[ {\begin{array}{c} {{x_1}}\\ {{x_2}}\\ {{x_3}} \end{array}} \right] + T = \left[ {\begin{array}{c} {{x_1}}\\ {{x_2}}\\ {{x_3}} \end{array}} \right] + \left[ {\begin{array}{c} {{t_1}}\\ {{t_2}}\\ {{t_3}} \end{array}} \right]$
旋转(Rotation)
旋转可以绕任意轴进行，但最常见的是绕坐标轴 $x yz$ 旋转，其旋转矩阵为：
${R_x}\left( \gamma \right){R_y}\left( \beta \right){R_z}\left( \alpha \right) = \left[ {\begin{array}{c} {\cos \alpha \cos \beta }&{\cos \alpha \sin \beta \sin \gamma - \sin \alpha \cos \gamma }&{\cos \alpha \sin \beta \cos \gamma + \sin \alpha \sin \gamma }\\ {\sin \alpha \cos \beta }&{\sin \alpha \sin \beta \sin \gamma + \cos \alpha \cos \gamma }&{\sin \alpha \sin \beta \cos \gamma - \cos \alpha \sin \gamma }\\ { - \sin \beta }&{\cos \beta \sin \gamma }&{ - \cos \beta \cos \gamma } \end{array}} \right]$

$\left[ {\begin{array}{c} {{y_1}}\\ {{y_2}}\\ {{y_3}} \end{array}} \right] = R\left[ {\begin{array}{c} {{x_1}}\\ {{x_2}}\\ {{x_3}} \end{array}} \right]$

缩放(Scaling)
缩放操作可以是均匀的也可以是非均匀的。均匀缩放意味着沿所有轴按相同的比例缩放，非均匀缩放则允许沿不同轴按不同的比例缩放。
$\left[ {\begin{array}{c} {{{\rm{s}}_1}}&0&0\\ 0&{{{\rm{s}}_2}}&0\\ 0&0&{{{\rm{s}}_3}} \end{array}} \right]$

$\left[ {\begin{array}{c} {{y_1}}\\ {{y_2}}\\ {{y_3}} \end{array}} \right] = S\left[ {\begin{array}{c} {{x_1}}\\ {{x_2}}\\ {{x_3}} \end{array}} \right]$

因此，线性变换A的矩阵为：
$\left[ {\begin{array}{c} {(\cos \alpha \cos \beta ){s_1}}&{(\cos \alpha \sin \beta \sin \gamma - \sin \alpha \cos \gamma ){s_2}}&{(\cos \alpha \sin \beta \cos \gamma + \sin \alpha \sin \gamma ){s_3}}\\ {(\sin \alpha \cos \beta ){s_1}}&{(\sin \alpha \sin \beta \sin \gamma + \cos \alpha \cos \gamma ){s_2}}&{(\sin \alpha \sin \beta \cos \gamma - \cos \alpha \sin \gamma ){s_3}}\\ {( - \sin \beta ){s_1}}&{(\cos \beta \sin \gamma ){s_2}}&{( - \cos \beta \cos \gamma ){s_3}} \end{array}} \right]$

仿射变换通常使用齐次坐标来表示，并通过 $4 \times 4$ 的复合变换矩阵来统一描述。将缩放、旋转和平移操作组合成一个 $4 \times 4$ 的复合变换矩阵：
$\left[ {\begin{array}{c} 1&0&0&{{t_1}}\\ 0&1&0&{{t_2}}\\ 0&0&1&{{t_3}}\\ 0&0&0&1 \end{array}} \right]\left[ {\begin{array}{c} {\cos \alpha \cos \beta }&{\cos \alpha \sin \beta \sin \gamma - \sin \alpha \cos \gamma }&{\cos \alpha \sin \beta \cos \gamma + \sin \alpha \sin \gamma }&0\\ {\sin \alpha \cos \beta }&{\sin \alpha \sin \beta \sin \gamma + \cos \alpha \cos \gamma }&{\sin \alpha \sin \beta \cos \gamma - \cos \alpha \sin \gamma }&0\\ { - \sin \beta }&{\cos \beta \sin \gamma }&{ - \cos \beta \cos \gamma }&0\\ 0&0&0&1 \end{array}} \right]\left[ {\begin{array}{c} {{s_1}}&0&0&0\\ 0&{{s_2}}&0&0\\ 0&0&{{s_3}}&0\\ 0&0&0&1 \end{array}} \right] = \left[ {\begin{array}{c} {(\cos \alpha \cos \beta ){s_1}}&{(\cos \alpha \sin \beta \sin \gamma - \sin \alpha \cos \gamma ){s_2}}&{(\cos \alpha \sin \beta \cos \gamma + \sin \alpha \sin \gamma ){s_3}}&{{t_1}}\\ {(\sin \alpha \cos \beta ){s_1}}&{(\sin \alpha \sin \beta \sin \gamma + \cos \alpha \cos \gamma ){s_2}}&{(\sin \alpha \sin \beta \cos \gamma - \cos \alpha \sin \gamma ){s_3}}&{{t_2}}\\ {( - \sin \beta ){s_1}}&{(\cos \beta \sin \gamma ){s_2}}&{( - \cos \beta \cos \gamma ){s_3}}&{{t_3}}\\ 0&0&0&1 \end{array}} \right]$
$\left[ {\begin{array}{c} {{y_1}}\\ {{y_2}}\\ {{y_3}}\\ 1 \end{array}} \right] = M\left[ {\begin{array}{c} {{x_1}}\\ {{x_2}}\\ {{x_3}}\\ 1 \end{array}} \right]$

协方差矩阵控制椭球

高斯分布： ${\rm{x}} \sim N\left( {\mu ,\Sigma } \right)$ 。其中：
$x$ 是随机变量向量；
$\mu = \left[ {{\mu _1},{\mu _2},{\mu _3}} \right]$ 是均值向量；
$\Sigma = \left[ {\begin{array}{c} {\sigma _1^2}&{{\sigma _{12}}}&{{\sigma _{13}}}\\ {{\sigma _{21}}}&{\sigma _2^2}&{{\sigma _{22}}}\\ {{\sigma _{31}}}&{{\sigma _{32}}}&{\sigma _3^2} \end{array}} \right]$ 是协方差矩阵， $x yz$ 维度之间的协方差(相关性)和方差。
标准高斯分布： ${\rm{x}} \sim N\left( {\overrightarrow 0 ,I} \right)$
$\overrightarrow 0 = \left[ {{0},{0},{0}} \right]$ 是均值向量；
$\left[ {\begin{array}{c} 1&0&0\\ 0&1&0\\ 0&0&1 \end{array}} \right]$ 是协方差矩阵(单位矩阵)，各维度之间没有相关性，且每个维度的方差都为1。

高斯分布的仿射变换： ${\rm{x}}\~N\left( {\mu ,\Sigma } \right) \Rightarrow w\~N\left( {A\mu + b,A\Sigma {A^T}} \right)$

证明
对于任意随机向量 $Z$ ，协方差矩阵定义为：
$\Sigma= E\left[ {\left( {X - E(X) } \right){{\left( {X - E(X) } \right)}^T}} \right]$
代入 $Y = A X + b$ 求期望：
$E\left[ {\left( {AX + {\rm{b}}} \right)} \right] = AE\left[ X \right] + b = A\mu + b$
代入 $Y = A X + b$ 求协方差矩阵：
$\Sigma \prime = E\left[ {\left( {Y - E(Y)} \right){{\left( {Y - E(Y)} \right)}^T}} \right] = E\left[ {\left( {AX + b - A\mu - b} \right){{\left( {AX + b - A\mu - b} \right)}^T}} \right] = E\left[ {\left( {AX - A\mu } \right){{\left( {AX - A\mu } \right)}^T}} \right] = E\left[ {A\left( {X - \mu } \right){{\left( {X - \mu } \right)}^T}{A^T}} \right] = AE\left[ {\left( {X - \mu } \right){{\left( {X - \mu } \right)}^T}} \right]{A^T} = A\Sigma {A^T}$

对于任意高斯分布的协方差矩阵 $\Sigma$ 进行特征值分解：
$\Sigma = Q \cdot \Lambda \cdot {Q^T} = Q \cdot {\Lambda ^{\frac{1}{2}}}{\Lambda ^{\frac{1}{2}}} \cdot {Q^T}$
将 $R$ 替换成 $Q$ ， ${\Lambda ^{\frac{1}{2}}}$ 替换成 $S$ ：
$\Sigma = R \cdot S \cdot I \cdot {S^T} \cdot {R^T} = A \cdot I \cdot {A^T}$
$A$ 矩阵包含了旋转和缩放的信息，标准高斯分布(单位矩阵 $I$ )通过变换矩阵 $A$ 变成了具有特定形状和方向的椭球。因此，可以通过对标准高斯分布(球)进行仿射变换得到任意高斯分布(椭球)。 协方差矩阵可以拖过旋转和缩放来表达。