【笔记】为什么Cholesky Decomposition和Rotation-Scaling Decomposition可以解决协方差矩阵正半定性问题？

在优化协方差矩阵 $\mathbf{\Sigma }$（例如在高斯分布建模中）时，一个关键挑战是确保 $\mathbf{\Sigma }$ 始终保持正半定性（positive semi-definite）。如果直接使用梯度下降优化 $\mathbf{\Sigma }$ 的元素，矩阵可能在更新过程中变得非正半定，导致无效的高斯分布或数值不稳定性。**Cholesky Decomposition（Cholesky分解）和Rotation-Scaling Decomposition（旋转-缩放分解）**通过提供一种特殊的参数化方式，解决了这个问题，使得 $\mathbf{\Sigma }$ 在优化过程中始终满足正半定性要求。以下是对这两种方法的详细解释。

---

1. Cholesky Decomposition（Cholesky分解）

Cholesky分解将协方差矩阵 $\mathbf{\Sigma }$ 表示为一个下三角矩阵 $\mathbf{L}$ 与其转置 ${\mathbf{L}}^T$ 的乘积：
$$\mathbf{\Sigma }=\mathbf{L}{\mathbf{L}}^T$$
对于一个 2×2 的协方差矩阵，$\mathbf{L}$ 可以写为：
$$\mathbf{L}=\left[\begin{array}{cc}{l}_1& 0\\ l_2& l_3\end{array}\right]$$
其中 $l_1,l_2,l_3$ 是可学习的参数。

对于任意矩阵 $\mathbf{L}$，$\mathbf{\Sigma }=\mathbf{L}{\mathbf{L}}^T$ 总是正半定的。这是因为对于任意非零向量 $\mathbf{a}$，有：
$${\mathbf{a}}^T\mathbf{\Sigma }\mathbf{a}={\mathbf{a}}^T\mathbf{L}{\mathbf{L}}^T\mathbf{a}=({\mathbf{L}}^T\mathbf{a}{)}^T({\mathbf{L}}^T\mathbf{a})=\Vert {\mathbf{L}}^T\mathbf{a}{\Vert }^2\ge 0$$
这满足正半定矩阵的定义（即 ${\mathbf{a}}^T\mathbf{\Sigma }\mathbf{a}\ge 0$ 对所有 $\mathbf{a}$ 成立）。

如果 $\mathbf{L}$ 的对角元素 $l_1>0$ 和 $l_3>0$，则 $\mathbf{\Sigma }$ 是正定的（即 ${\mathbf{a}}^T\mathbf{\Sigma }\mathbf{a}>0$ 对所有 $\mathbf{a}\ne 0$ 成立）。正定性通常是高斯分布所需的更强条件。

与其直接优化 $\mathbf{\Sigma }$ 的元素，不如优化 $\mathbf{L}$ 的元素 $l_1,l_2,l_3$。由于 $\mathbf{\Sigma }=\mathbf{L}{\mathbf{L}}^T$ 的形式，无论 $l_1,l_2,l_3$ 如何取值，$\mathbf{\Sigma }$ 始终是正半定的。

为了保证 $\mathbf{\Sigma }$ 是正定的，可以对对角元素 $l_1$ 和 $l_3$ 施加约束。例如，使用参数化：
$$l_1=\exp ({\theta }_1),l_3=\exp ({\theta }_3)$$
其中 ${\theta }_1,{\theta }_3$ 是无约束的可学习参数。由于指数函数 $\exp (\cdot )$ 始终大于 0，这保证了 $l_1>0$ 和 $l_3>0$。而非对角元素 $l_2$ 可以是任意实数，因为它不直接影响正定性。

Cholesky 分解还有助于提高计算稳定性。例如，计算逆矩阵 ${\mathbf{\Sigma }}^{-1}=(\mathbf{L}{\mathbf{L}}^T{)}^{-1}={\mathbf{L}}^{-T}{\mathbf{L}}^{-1}$，由于 $\mathbf{L}$ 是下三角矩阵，其逆可以通过简单的回代法求解，比直接求 ${\mathbf{\Sigma }}^{-1}$ 更稳定。

通过优化 $\mathbf{L}$ 的参数而不是 $\mathbf{\Sigma }$ 的元素，Cholesky 分解将正半定性约束嵌入到矩阵的构造中，避免了梯度下降可能导致的约束违反问题。

---

2. Rotation-Scaling Decomposition（旋转-缩放分解）

旋转-缩放分解将 $\mathbf{\Sigma }$ 表示为旋转矩阵 $\mathbf{R}$ 和缩放矩阵 $\mathbf{S}$ 的组合：
$$\mathbf{\Sigma }=(\mathbf{R}\mathbf{S})(\mathbf{R}\mathbf{S}{)}^T=\mathbf{R}\mathbf{S}{\mathbf{S}}^T{\mathbf{R}}^T$$
对于 2D 情况：
$$\mathbf{R}=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]$$
由旋转角度 $\theta$ 参数化。

$$\mathbf{S}=\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right]$$
由缩放因子 $s_1,s_2$ 参数化。

计算可得：
$$\mathbf{S}{\mathbf{S}}^T=\left[\begin{array}{cc}{s}_1^2& 0\\ 0& s_2^2\end{array}\right],\mathbf{\Sigma }=\mathbf{R}\left[\begin{array}{cc}{s}_1^2& 0\\ 0& s_2^2\end{array}\right]{\mathbf{R}}^T$$

$\mathbf{R}$ 是正交矩阵（${\mathbf{R}}^T\mathbf{R}=\mathbf{I}$），而 $\mathbf{S}{\mathbf{S}}^T=\left[\begin{array}{cc}{s}_1^2& 0\\ 0& s_2^2\end{array}\right]$ 是对角矩阵，其对角元素 $s_1^2\ge 0$ 和 $s_2^2\ge 0$（因为 $s_1,s_2$ 是实数）。因此，$\mathbf{\Sigma }$ 是正半定的。

如果 $s_1>0$ 和 $s_2>0$，则 $\mathbf{S}{\mathbf{S}}^T$ 的对角元素严格大于 0，$\mathbf{\Sigma }$ 成为正定矩阵。

优化参数 $\theta ,s_1,s_2$ 而不是直接优化 $\mathbf{\Sigma }$。由于 $\mathbf{\Sigma }$ 的形式，$\theta$ 可以取任意实数（因为旋转矩阵始终正交），而 $s_1$ 和 $s_2$ 需要保持非负。

为了保证正定性，可以参数化：
$$s_1=\exp ({\varphi }_1),s_2=\exp ({\varphi }_2)$$
其中 ${\varphi }_1,{\varphi }_2$ 是可学习参数，确保 $s_1>0$ 和 $s_2>0$。

计算 ${\mathbf{\Sigma }}^{-1}=\mathbf{R}\left[\begin{array}{cc}{s}_1^{-2}& 0\\ 0& s_2^{-2}\end{array}\right]{\mathbf{R}}^T$ 很简单，只要 $s_1,s_2\ne 0$，计算就稳定且高效。

旋转-缩放分解通过将 $\mathbf{\Sigma }$ 分解为旋转（方向）和缩放（大小），将正半定性嵌入到结构中，使得优化过程不会破坏这一性质。

---

3. 为什么这两种分解能解决问题？

Cholesky 分解通过 $\mathbf{L}{\mathbf{L}}^T$ 的形式，天然保证了正半定性。
旋转-缩放分解通过 $\mathbf{R}\mathbf{S}{\mathbf{S}}^T{\mathbf{R}}^T$，利用正交矩阵和非负对角矩阵的性质，同样保证了正半定性。
这种参数化将约束“隐藏”在矩阵构造中，避免了直接优化 $\mathbf{\Sigma }$ 时需要显式施加正半定性约束的复杂性。

直接优化 $\mathbf{\Sigma }$ 的元素时，梯度下降可能使其偏离正半定区域（例如特征值变为负数），导致高斯分布无效或计算不稳定。而分解方法通过优化中间参数（如 $\mathbf{L}$ 或 $\theta ,s_1,s_2$），确保 $\mathbf{\Sigma }$ 始终有效。

对于 2×2 的对称协方差矩阵，$\mathbf{\Sigma }$ 有 3 个独立元素：

• Cholesky 分解使用 $l_1,l_2,l_3$（3 个参数）。
• 旋转-缩放分解使用 $\theta ,s_1,s_2$（3 个参数）。

两种方法都未增加参数数量，同时保持了表达能力。

Cholesky 分解：$\mathbf{L}$ 是三角矩阵，求逆和行列式（$\det (\mathbf{\Sigma })=l_1^2{l}_3^2$）计算简单。
旋转-缩放分解：$\mathbf{\Sigma }$ 的逆和行列式（$\det (\mathbf{\Sigma })=s_1^2{s}_2^2$）同样易于计算，避免了 $\mathbf{\Sigma }$ 接近奇异时的数值问题。

---

4. 总结

Cholesky 分解和旋转-缩放分解通过将协方差矩阵 $\mathbf{\Sigma }$ 参数化为特定的矩阵乘积形式（$\mathbf{L}{\mathbf{L}}^T$ 或 $\mathbf{R}\mathbf{S}{\mathbf{S}}^T{\mathbf{R}}^T$），确保其在梯度下降优化中始终保持正半定性。这种方法：

• 正半定性由分解结构保证，无需额外约束。
• 避免直接操作 $\mathbf{\Sigma }$ 的数值问题。
• 将问题转化为无约束参数的优化，使得梯度下降更稳定和高效。

因此，这两种分解是解决协方差矩阵优化中正半定性问题的强大工具，广泛应用于机器学习和高斯建模任务中。