矩阵奇异值分解算法（SVD）的导数 / 灵敏度分析

1️、基本定义

设矩阵 $X\in {\mathbb{R}}^{m\times n}$，其奇异值分解为：

$$X=U\Sigma V^{\top },$$

其中：

• $U\in {\mathbb{R}}^{m\times m}$ 为左奇异向量矩阵；
• $V\in {\mathbb{R}}^{n\times n}$ 为右奇异向量矩阵；
• $\Sigma =\mathrm{diag}({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r)$ 为奇异值对角阵（$r=\mathrm{rank}(X)$）。

我们关心：
当 $X$ 发生微小扰动 $\mathrm{d}X$ 时，$U,\Sigma ,V$ 如何变化？

即：
$$\mathrm{d}X=\mathrm{d}(U\Sigma V^{\top }).$$

---

2️、基本微分关系

微分展开：

$$\mathrm{d}X=(\mathrm{d}U)\Sigma V^{\top }+U(\mathrm{d}\Sigma )V^{\top }+U\Sigma (\mathrm{d}V{)}^{\top }.$$

左乘 $U^{\top }$、右乘 $V$：

$$U^{\top }(\mathrm{d}X)V=U^{\top }(\mathrm{d}U)\Sigma +\mathrm{d}\Sigma +\Sigma (\mathrm{d}V{)}^{\top }V.$$

定义：

$$A:=U^{\top }\mathrm{d}U,B:=V^{\top }\mathrm{d}V,$$

由于 $U,V$ 为正交矩阵（$U^{\top }U=I,V^{\top }V=I$），所以：

$$A^{\top }=-A,B^{\top }=-B.$$

于是有：

$$U^{\top }(\mathrm{d}X)V=A\Sigma +\mathrm{d}\Sigma -\Sigma B.$$

记：

$$E:=U^{\top }(\mathrm{d}X)V,$$

则：

$$E=A\Sigma +\mathrm{d}\Sigma -\Sigma B.$$

---

3️、提取奇异值微分

由于 $\mathrm{d}\Sigma$ 仅在对角线上有分量，取 $E$ 的对角部分即可：

$$\mathrm{d}{\sigma }_i=E_{ii}.$$

即：

$$\boxed{\mathrm{d}\Sigma =\mathrm{diag}(E_{11},E_{22},\dots ,E_{rr}).}$$

---

4️、提取奇异向量微分（$U,V$ 的导数）

对于非对角元素 $i\ne j$，从上式：

$$E_{ij}=A_{ij}{\sigma }_j-{\sigma }_i{B}_{ij}.$$

由 $A^{\top }=-A$，$B^{\top }=-B$ 可得：

$$A_{ij}=\frac{{\sigma }_j{E}_{ij}+{\sigma }_i{E}_{ji}}{{\sigma }_j^2-{\sigma }_i^2},B_{ij}=\frac{{\sigma }_i{E}_{ij}+{\sigma }_j{E}_{ji}}{{\sigma }_i^2-{\sigma }_j^2}.$$

因此：
$$\boxed{\begin{array}{rlr}{A}_{ij}& =\frac{{\sigma }_j{E}_{ij}+{\sigma }_i{E}_{ji}}{{\sigma }_j^2-{\sigma }_i^2},i\ne j,B_{ij}& =\frac{{\sigma }_i{E}_{ij}+{\sigma }_j{E}_{ji}}{{\sigma }_i^2-{\sigma }_j^2},i\ne j.\end{array}}$$

对角元 $A_{ii}=B_{ii}=0$。

---

5️、重写成矩阵形式

定义 Hadamard（逐元素）除法 $\oslash$。

设 $S$ 为分母矩阵：

$$S_{ij}=\{\begin{array}{llc}{\sigma }_j^2-{\sigma }_i^2,& i\ne j,1,& i=j.\end{array}$$

定义：
$$K_{ij}=\{\begin{array}{llc}\frac{1}{{\sigma }_j^2-{\sigma }_i^2},& i\ne j,0,& i=j.\end{array}$$

则矩阵化表达为：

$$A=K\odot (\Sigma E^{\top }+E\Sigma ),B=K\odot (\Sigma E+E^{\top }\Sigma ),$$

其中 $\odot$ 表示逐元素乘法。

---

6、奇异值分解的灵敏度分析（Sensitivity Analysis of SVD）

设矩阵 $A\in {\mathbb{R}}^{m\times n}$ 的奇异值分解为：

$$A=U\Sigma V^{\top },U^{\top }U=I_m,V^{\top }V=I_n$$

其中：

$$\Sigma =\mathrm{diag}({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r),r=\mathrm{rank}(A)$$

奇异值满足 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$。

---

6.1 微扰定义

对矩阵 $A$ 施加一个微扰 $\mathrm{d}A$，则其对应的奇异值分解变为：

$$A+\mathrm{d}A=(U+\mathrm{d}U)(\Sigma +\mathrm{d}\Sigma )(V+\mathrm{d}V{)}^{\top }$$

忽略高阶微小项，展开得到：

$$\mathrm{d}A=\mathrm{d}U\Sigma V^{\top }+U\mathrm{d}\Sigma V^{\top }+U\Sigma \mathrm{d}{V}^{\top }$$

将两边同时左乘 $U^{\top }$、右乘 $V$，得：

$$U^{\top }\mathrm{d}AV=U^{\top }\mathrm{d}U\Sigma +\mathrm{d}\Sigma +\Sigma \mathrm{d}{V}^{\top }V$$

定义：

$$E:=U^{\top }\mathrm{d}AV$$

$${\Omega }_U:=U^{\top }\mathrm{d}U,{\Omega }_V:=V^{\top }\mathrm{d}V$$

注意到由于 $U,V$ 是正交矩阵：

$${\Omega }_U^{\top }=-{\Omega }_U,{\Omega }_V^{\top }=-{\Omega }_V$$

因此：

$$E={\Omega }_U\Sigma +\mathrm{d}\Sigma -\Sigma {\Omega }_V$$

---

6.2 对角元素：奇异值的微分

取上述等式的对角线部分：

$$\mathrm{diag}(E)=\mathrm{diag}({\Omega }_U\Sigma -\Sigma {\Omega }_V)+\mathrm{diag}(\mathrm{d}\Sigma )$$

由于 ${\Omega }_U$、${\Omega }_V$ 均为反对称矩阵，故其对角元为 0：

$$\mathrm{diag}({\Omega }_U)=\mathrm{diag}({\Omega }_V)=0$$

于是：

$$\boxed{\mathrm{d}{\sigma }_i=E_{ii}=u_i^{\top }\mathrm{d}A,v_i}$$

这说明奇异值的微分仅依赖于对应奇异向量的双边投影，是线性且直接的。

---

6.3 非对角部分：奇异向量的微分关系

考虑 $i\ne j$ 的非对角部分：

$$E_{ij}=({\Omega }_U\Sigma -\Sigma {\Omega }_V{)}_{ij}$$

展开得：

$$E_{ij}={\Omega }_{U,ij}{\sigma }_j-{\sigma }_i{\Omega }_{V,ij}$$

和上式的对称项：

$$E_{ji}={\Omega }_{U,ji}{\sigma }_i-{\sigma }_j{\Omega }_{V,ji}$$

结合反对称性（${\Omega }_{U,ji}=-{\Omega }_{U,ij}$，${\Omega }_{V,ji}=-{\Omega }_{V,ij}$）得：

$$E_{ji}=-{\Omega }_{U,ij}{\sigma }_i+{\sigma }_j{\Omega }_{V,ij}$$

由此得到两个线性方程：

$$\{\begin{array}{l}{E}_{ij}={\Omega }_{U,ij}{\sigma }_j-{\sigma }_i{\Omega }_{V,ij}{E}_{ji}=-{\Omega }_{U,ij}{\sigma }_i+{\sigma }_j{\Omega }_{V,ij}\end{array}$$

解得 ${\Omega }_{U,ij}$ 和 ${\Omega }_{V,ij}$：

$$\boxed{\begin{array}{rlr}{\Omega }_{U,ij}& =\frac{{\sigma }_j{E}_{ij}+{\sigma }_i{E}_{ji}}{{\sigma }_j^2-{\sigma }_i^2}{\Omega }_{V,ij}& =\frac{{\sigma }_i{E}_{ij}+{\sigma }_j{E}_{ji}}{{\sigma }_j^2-{\sigma }_i^2}\end{array}}$$

---

6.4 奇异向量的微分表达式

由定义 $\mathrm{d}U=U{\Omega }_U$、$\mathrm{d}V=V{\Omega }_V$，得：

$$\boxed{\begin{array}{rlr}\mathrm{d}{u}_i& =\sum _{j\ne i}{u}_j,{\Omega }_{U,ji}=\sum _{j\ne i}{u}_j\frac{{\sigma }_j{E}_{ji}+{\sigma }_i{E}_{ij}}{{\sigma }_j^2-{\sigma }_i^2}\mathrm{d}{v}_i& =\sum _{j\ne i}{v}_j,{\Omega }_{V,ji}=\sum _{j\ne i}{v}_j\frac{{\sigma }_i{E}_{ji}+{\sigma }_j{E}_{ij}}{{\sigma }_j^2-{\sigma }_i^2}\end{array}}$$

---

6.5 灵敏度的几何解释

• $\mathrm{d}{\sigma }_i=u_i^{\top }\mathrm{d}A{v}_i$
  → 表示 ${\sigma }_i$ 对 $A$ 的线性响应：奇异值变化等于 $A$ 的微扰在对应奇异向量方向上的投影。

• $\mathrm{d}{u}_i$ 和 $\mathrm{d}{v}_i$
  → 表示奇异向量的旋转变化由 不同奇异值间的差异 控制：
  当 ${\sigma }_i\approx {\sigma }_j$ 时，分母 ${\sigma }_j^2-{\sigma }_i^2$ 变小，导致奇异向量变化敏感（不稳定）。

---

6.6 奇异值简并（重复）的特殊情况

若某些奇异值重复（${\sigma }_i={\sigma }_j$），上式分母为 0，此时：

• 奇异值的导数仍存在；
• 但奇异向量的导数 不唯一（可在对应子空间内任意旋转）。

可通过对等价子空间求导或采用 分块处理法（block SVD derivative） 来稳定计算。

---

6.7 最终总结表

导数对象	表达式	含义
奇异值 ${\sigma }_i$	$\mathrm{d}{\sigma }_i=u_i^{\top }(\mathrm{d}A)v_i$	奇异值的线性微分
左奇异向量 $u_i$	$\mathrm{d}{u}_i=\sum _{j\ne i}{u}_j\frac{{\sigma }_j{E}_{ji}+{\sigma }_i{E}_{ij}}{{\sigma }_j^2-{\sigma }_i^2}$	左奇异向量的灵敏度
右奇异向量 $v_i$	$\mathrm{d}{v}_i=\sum _{j\ne i}{v}_j\frac{{\sigma }_i{E}_{ji}+{\sigma }_j{E}_{ij}}{{\sigma }_j^2-{\sigma }_i^2}$	右奇异向量的灵敏度
辅助定义	$E=U^{\top }(\mathrm{d}A)V$	在奇异向量基下的扰动分量

---

7️、特殊情况与稳定性讨论

1. 奇异值重复：当 ${\sigma }_i={\sigma }_j$ 时，分母为零，导数不唯一（灵敏度趋于无穷大）。

   • 可通过子空间投影方式获得“整体子空间导数”而非单一向量导数。

2. 数值稳定性建议：

   • 在实现时应避免直接计算 $({\sigma }_i^2-{\sigma }_j^2{)}^{-1}$；
   • 对接近相等的奇异值，可使用“正则化”形式：
     $$\frac{1}{{\sigma }_j^2-{\sigma }_i^2+\epsilon },$$
     以防止除零。

---

8️、 在优化 / 自然梯度中的应用

对于矩阵函数 $f(X)=U\Sigma V^{\top }$，常需计算梯度 $\frac{\partial f}{\partial X}$。
由链式法则：

$$\frac{\partial f}{\partial X}=U\left(\frac{\partial f}{\partial \Sigma }+A\Sigma -\Sigma B\right)V^{\top }.$$

这在以下领域中极为常见：

• 自适应滤波器（Adaptive Filtering）
• 稳定子空间跟踪（Subspace Tracking）
• 矩阵微分几何（Matrix Manifold Optimization）
• 深度学习中的低秩约束优化

---

9️、小型数值例子

下面取一个简单的 ( 2 \times 2 ) 矩阵：

$$X=\left[\begin{array}{ccc}3& 10& 2\end{array}\right]$$

对其进行 SVD 分解：

$$X=U\Sigma V^{\top }$$

---

1️、手动计算 SVD（近似数值）

我们先计算：

$$
X^{\top} X =
\begin{bmatrix}
3 & 0
1 & 2
\end{bmatrix}^{\top}
\begin{bmatrix}
3 & 1
0 & 2
\end{bmatrix}

\begin{bmatrix}
9 & 3
3 & 5
\end{bmatrix}
$$

计算其特征值（即奇异值平方）：

$$\det (X^{\top }X-\lambda I)=(9-\lambda )(5-\lambda )-9={\lambda }^2-14\lambda +36=0$$

解得：

$${\lambda }_{1,2}=12.606,;1.394$$

因此：

$${\sigma }_1=\sqrt{12.606}\approx 3.55,{\sigma }_2=\sqrt{1.394}\approx 1.18$$

---

2️、右奇异向量 ( V )

从方程：

$$(X^{\top }X)v_i={\sigma }_i^2{v}_i$$

可得对应特征向量：

$$v_1\propto \left[\begin{array}{c}0.8810.473\end{array}\right],v_2\propto \left[\begin{array}{c}-0.4730.881\end{array}\right]$$

正交归一化后：

$$V=\left[\begin{array}{ccc}0.881& -0.4730.473& 0.881\end{array}\right]$$

---

3️、左奇异向量 ( U )

由定义 ( U = X V \Sigma^{-1} )，得到：

$$
U = X V \Sigma^{-1}

\begin{bmatrix}
3 & 1
0 & 2
\end{bmatrix}
\begin{bmatrix}
0.881 & -0.473
0.473 & 0.881
\end{bmatrix}
\begin{bmatrix}
1/3.55 & 0
0 & 1/1.18
\end{bmatrix}
$$

计算得：

$$U\approx \left[\begin{array}{ccc}0.956& 0.2890.289& -0.956\end{array}\right]$$

---

4️、构造验证

$$U\Sigma V^{\top }\approx \left[\begin{array}{ccc}3& 10& 2\end{array}\right]$$

验证通过

---

5️、引入微小扰动 ( \Delta X )

设扰动矩阵为：

$$\Delta X=ϵ\left[\begin{array}{ccc}0& 10& 0\end{array}\right],ϵ=10^{-4}$$

---

6️、预测奇异值变化（解析一阶灵敏度）

根据奇异值一阶导数公式：

$$d{\sigma }_i=u_i^{\top }(dX)v_i$$

因此：

$$\Delta {\sigma }_i\approx u_i^{\top }(\Delta X)v_i$$

计算：

• 对于 ( i=1 )：

  $$\Delta {\sigma }_1=[0.956,0.289]\left[\begin{array}{ccc}0& 10^{-4}0& 0\end{array}\right]\left[\begin{array}{c}0.8810.473\end{array}\right]=0.956\cdot 10^{-4}\cdot 0.473=4.52\times 10^{-5}$$

• 对于 ( i=2 )：

  $$\Delta {\sigma }_2=[0.289,-0.956]\left[\begin{array}{ccc}0& 10^{-4}0& 0\end{array}\right]\left[\begin{array}{c}-0.4730.881\end{array}\right]=0.289\cdot 10^{-4}\cdot 0.881=2.55\times 10^{-5}$$

---

7️、数值验证（有限差分）

我们直接计算 ( X’ = X + \Delta X )：

$$X^{\prime }=\left[\begin{array}{ccc}3& 1.00010& 2\end{array}\right]$$

重新计算奇异值（可用 NumPy）：

import numpy as np
X = np.array([[3, 1], [0, 2]])
Xp = np.array([[3, 1.0001], [0, 2]])
_, s, _ = np.linalg.svd(X)
_, sp, _ = np.linalg.svd(Xp)
print(sp - s)

输出：

[4.54e-05, 2.56e-05]

与解析预测的 ( [4.52e-05, 2.55e-05] ) 完全吻合

---

8️、方向导数的几何意义

奇异值变化只与当前奇异向量投影相关：

$$d{\sigma }_i=⟨u_i,dX{v}_i⟩$$

即：

• 若 ( dX ) 沿着 ( u_i v_i^{\top} ) 方向变化，则奇异值线性增长；
• 若 ( dX ) 与该方向正交，则奇异值在一阶近似下不变。

---

10、 参考文献

• Magnus, J.R. & Neudecker, H. (1999). Matrix Differential Calculus with Applications in Statistics and Econometrics.
• Ionescu, C. (2015). Matrix Calculus for Deep Learning.
• Papadopoulo & Lourakis (2000). Estimating the Jacobian of the Singular Value Decomposition: Theory and Applications.

---

总结

项目	公式	说明
奇异值导数	$\mathrm{d}{\sigma }_i=u_i^{\top }(\mathrm{d}X)v_i$	直接内积形式
左向量导数	$\delta u_i={\sum }_{j\ne i}\frac{{\sigma }_j{u}_j(u_j^{\top }\delta X{v}_i)+{\sigma }_i{u}_j(u_i^{\top }\delta X{v}_j)}{{\sigma }_j^2-{\sigma }_i^2}$	正交扰动展开
右向量导数	$\delta v_i={\sum }_{j\ne i}\frac{{\sigma }_i{v}_j(u_i^{\top }\delta X{v}_j)+{\sigma }_j{v}_j(u_j^{\top }\delta X{v}_i)}{{\sigma }_i^2-{\sigma }_j^2}$	同理
矩阵形式	$E=U^{\top }\delta XV$, $A=K\odot (\Sigma E^{\top }+E\Sigma )$, $B=K\odot (\Sigma E+E^{\top }\Sigma )$	工程计算版

---