奇异值分解（Singular Value Decomposition, SVD）详解——从特征值到奇异值

奇异值分解（Singular Value Decomposition, SVD）。

1. 动机：从特征值分解到奇异值分解

我们知道，对于一个方阵 $A\in {\mathbb{R}}^{n\times n}$，特征值分解寻找一组特殊的向量 $\mathbf{v}$，使得 $A$ 对 $\mathbf{v}$ 的作用仅仅是进行缩放，即 $A\mathbf{v}=\lambda \mathbf{v}$。这个强大的工具仅限于方阵。

SVD 的目标是将这一概念推广到任意形状的矩阵 $A\in {\mathbb{R}}^{m\times n}$。它寻找两组标准正交基（一组在定义域 ${\mathbb{R}}^n$，另一组在值域 ${\mathbb{R}}^m$），使得矩阵 $A$ 能将第一组基向量映射为第二组基向量的非负倍数。

2. 核心构造：利用对称矩阵的特征值

对于任意矩阵 $A\in {\mathbb{R}}^{m\times n}$，我们无法直接求其特征值。但是，我们可以构造两个特殊的对称半正定方阵：

• $A^{\mathsf{T}}A\in {\mathbb{R}}^{n\times n}$
• $A{A}^{\mathsf{T}}\in {\mathbb{R}}^{m\times m}$

这两个矩阵是SVD理论的基石，因为：

1. 它们是对称的，因此保证存在一组标准正交的特征向量。

2. 它们是半正定的，因此它们的特征值均为非负实数。

   证明：设 $\mathbf{v}$ 是 $A^{\mathsf{T}}A$ 的一个特征向量，对应特征值为 $\lambda$。则：
   $$\Vert A\mathbf{v}{\Vert }_2^2=(A\mathbf{v}{)}^{\mathsf{T}}(A\mathbf{v})={\mathbf{v}}^{\mathsf{T}}{A}^{\mathsf{T}}A\mathbf{v}={\mathbf{v}}^{\mathsf{T}}(\lambda \mathbf{v})=\lambda {\mathbf{v}}^{\mathsf{T}}\mathbf{v}=\lambda \Vert \mathbf{v}{\Vert }_2^2\Vert A\mathbf{v}{\Vert }_2^2=(A\mathbf{v}{)}^{\mathsf{T}}(A\mathbf{v})={\mathbf{v}}^{\mathsf{T}}{A}^{\mathsf{T}}A\mathbf{v}={\mathbf{v}}^{\mathsf{T}}(\lambda \mathbf{v})=\lambda {\mathbf{v}}^{\mathsf{T}}\mathbf{v}=\lambda \Vert \mathbf{v}{\Vert }_2^2$$
   因为 $\Vert A\mathbf{v}{\Vert }_2^2\ge 0$ 且 $\Vert \mathbf{v}{\Vert }_2^2>0$，所以 $\lambda \ge 0$。

3. SVD的数学推导与构造

步骤 1：定义奇异值与右奇异向量 (V)

1. 考虑 $n\times n$ 的对称半正定矩阵 $A^{\mathsf{T}}A$。根据谱定理，它有 $n$ 个非负实特征值，记为 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$。
2. 定义矩阵 $A$ 的奇异值 (Singular Values) 为这些特征值的平方根：
   $${\sigma }_i=\sqrt{{\lambda }_i},i=1,\dots ,n$$
3. $A^{\mathsf{T}}A$ 对应于这些特征值的 $n$ 个特征向量构成 ${\mathbb{R}}^n$ 的一组标准正交基 {v1,v2,…,vn}\{\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n\}{v1​,v2​,…,vn​}。这些向量被称为矩阵 $A$ 的右奇异向量 (Right Singular Vectors)。
4. 我们将这些右奇异向量作为列，构成一个 $n\times n$ 的正交矩阵 $V$：
   $$V=[{\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,V=[{\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n]$$
   它满足 $V^{\mathsf{T}}V=I_n$。

步骤 2：构造左奇异向量 (U)

1. 设矩阵 $A$ 的秩为 $r$。可以证明，秩 $r$ 等于非零奇异值的个数。因此，${\sigma }_1\ge \cdots \ge {\sigma }_r>0$，且 ${\sigma }_{r+1}=\cdots ={\sigma }_n=0$。
2. 对于前 $r$ 个非零奇异值所对应的右奇异向量 ${\mathbf{v}}_i$ ($i=1,\dots ,r$)，我们定义一组新的向量 ${\mathbf{u}}_i\in {\mathbb{R}}^m$：
   $${\mathbf{u}}_i=\frac{1}{{\sigma }_i}A{\mathbf{v}}_i,{\mathbf{u}}_i=\frac{1}{{\sigma }_i}A{\mathbf{v}}_i,i=1,\dots ,r$$
3. 可以证明这组向量 {u1,…,ur}\{\mathbf{u}_1, \dots, \mathbf{u}_r\}{u1​,…,ur​} 是标准正交的。
   • 正交性证明：对于 $i\ne j$：
     $${\mathbf{u}}_i^{\mathsf{T}}{\mathbf{u}}_j={\left(\frac{1}{{\sigma }_i}A{\mathbf{v}}_i\right)}^{\mathsf{T}}\left(\frac{1}{{\sigma }_j}A{\mathbf{v}}_j\right)=\frac{1}{{\sigma }_i{\sigma }_j}{\mathbf{v}}_i^{\mathsf{T}}(A^{\mathsf{T}}A){\mathbf{v}}_j=\frac{1}{{\sigma }_i{\sigma }_j}{\mathbf{v}}_i^{\mathsf{T}}({\lambda }_j{\mathbf{v}}_j)=\frac{{\lambda }_j}{{\sigma }_i{\sigma }_j}({\mathbf{v}}_i^{\mathsf{T}}{\mathbf{v}}_j){\mathbf{u}}_i^{\mathsf{T}}{\mathbf{u}}_j={\left(\frac{1}{{\sigma }_i}A{\mathbf{v}}_i\right)}^{\mathsf{T}}\left(\frac{1}{{\sigma }_j}A{\mathbf{v}}_j\right)=\frac{1}{{\sigma }_i{\sigma }_j}{\mathbf{v}}_i^{\mathsf{T}}(A^{\mathsf{T}}A){\mathbf{v}}_j=\frac{1}{{\sigma }_i{\sigma }_j}{\mathbf{v}}_i^{\mathsf{T}}({\lambda }_j{\mathbf{v}}_j)=\frac{{\lambda }_j}{{\sigma }_i{\sigma }_j}({\mathbf{v}}_i^{\mathsf{T}}{\mathbf{v}}_j)=0$$
   • 单位长度证明：$\Vert {\mathbf{u}}_i{\Vert }_2^2={\mathbf{u}}_i^{\mathsf{T}}{\mathbf{u}}_i=\frac{1}{{\sigma }_i^2}\Vert A{\mathbf{v}}_i{\Vert }_2^2=\frac{1}{{\lambda }_i}{\lambda }_i=1$。
4. 这 $r$ 个向量构成了 $\text{Col}(A)$（$A$ 的列空间）的一组标准正交基。我们可以通过Gram-Schmidt等方法，将这组基扩充为整个 ${\mathbb{R}}^m$ 空间的一组标准正交基 {u1,…,um}\{\mathbf{u}_1, \dots, \mathbf{u}_m\}{u1​,…,um​}。这些向量被称为矩阵 $A$ 的左奇异向量 (Left Singular Vectors)。
5. 我们将这些左奇异向量作为列，构成一个 $m\times m$ 的正交矩阵 $U$：
   $$U=[{\mathbf{u}}_1,{\mathbf{u}}_U=[{\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_m]$$
   它满足 $U^{\mathsf{T}}U=I_m$。同时，这些 ${\mathbf{u}}_i$ 恰好是矩阵 $A{A}^{\mathsf{T}}$ 的特征向量。

步骤 3：组建SVD

由步骤2的定义，我们有 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 对于 $i=1,\dots ,r$ 成立。
对于 $i>r$，奇异值 ${\sigma }_i=0$，此时 $\Vert A{\mathbf{v}}_i{\Vert }_2^2={\lambda }_i=0$，这意味着 $A{\mathbf{v}}_i=0$。因此，关系式 $A{\mathbf{v}}_i={\sigma }_i{\mathbf{u}}_i$ 对所有 $i=1,\dots ,n$ 均成立。

将此关系写成矩阵形式：
$$AV=A[{\mathbf{v}}_1,\dots ,{\mathbf{v}}_n]=[A{\mathbf{v}}_1,\dots ,A{\mathbf{v}}_n]=[{\sigma }_1{\mathbf{u}}_1,\dots ,{\sigma }_r{\mathbf{u}}_r,0,\dots ,AV=A[{\mathbf{v}}_1,\dots ,{\mathbf{v}}_n]=[A{\mathbf{v}}_1,\dots ,A{\mathbf{v}}_n]=[{\sigma }_1{\mathbf{u}}_1,\dots ,{\sigma }_r{\mathbf{u}}_r,0,\dots ,0]$$
另一方面，我们构造一个 $m\times n$ 的对角矩阵 $\Sigma$，其对角线元素为奇异值：
$$\Sigma ={\left(\begin{array}{cccccc}{\sigma }_1& & & & & \\ & {\sigma }_2& & & & \\ & & \ddots & & & \\ & & & {\sigma }_r& & \\ & & & & 0& \\ & & & & & \ddots \end{array}\right)}_{m\times n}$$计算 $U\Sigma$：$$U\Sigma =[{\mathbf{u}}_1,\dots ,{\mathbf{u}}_m]\Sigma =[{\sigma }_1{\mathbf{u}}_1,\dots ,{\sigma }_r{\mathbf{u}}_r,0,\dots ,0]$$
因此，我们得到 $AV=U\Sigma$。由于 $V$ 是正交矩阵，$V^{-1}=V^{\mathsf{T}}$，两边右乘 $V^{\mathsf{T}}$ 得到最终因此，我们得到 $AV=U\Sigma$。由于 $V$ 是正交矩阵，$V^{-1}=V^{\mathsf{T}}$，两边右乘 $V^{\mathsf{T}}$ 得到最终的SVD形式：$$A=U\Sigma V^{\mathsf{T}}$$

4. SVD定理的完整陈述

定理 (奇异值分解)：对于任意矩阵 $A\in {\mathbb{R}}^{m\times n}$，其秩为 $r$，必存在两个正交矩阵 $U\in {\mathbb{R}}^{m\times m}$ 和 $V\in {\mathbb{R}}^{n\times n}$，以及一个 $m\times n$ 的对角矩阵 $\Sigma$，使得：
$$A=U\Sigma V^{\mathsf{T}}$$
其中矩阵 $\Sigma$ 的对角线元素 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$ 且 ${\sigma }_i=0$ 对于 $i>r$，被称为 $A$ 的奇异值。$U$ 的列向量 ${\mathbf{u}}_i$ 称为左奇异向量，$V$ 的列向量 ${\mathbf{v}}_i$ 称为右奇异向量。

5. 几何意义

SVD的几何意义是：任意线性变换 $A:{\mathbb{R}}^n\to {\mathbb{R}}^m$ 都可以被分解为三步操作：

1. 一个旋转或反射 ($V^{\mathsf{T}}$)，将 ${\mathbb{R}}^n$ 中的标准正交基旋转到右奇异向量基 {vi}\{\mathbf{v}_i\}{vi​}。
2. 一个缩放 ($\Sigma$)，沿着新的坐标轴方向，将分量进行 ${\sigma }_i$ 倍的缩放，并将维度从 $n$ 调整到 $m$。
3. 另一个旋转或反射 ($U$)，将 ${\mathbb{R}}^m$ 中的坐标轴旋转到左奇异向量基 {ui}\{\mathbf{u}_i\}{ui​}。

本质上，SVD表明任何线性变换都会将 ${\mathbb{R}}^n$ 中的一个单位球体，映射为 ${\mathbb{R}}^m$ 中的一个椭球体（可能是退化的）。右奇异向量 ${\mathbf{v}}_i$ 是球体上的正交轴，左奇异向量 ${\mathbf{u}}_i$ 是椭球体的主轴方向，而奇异值 ${\sigma }_i$ 则是对应主轴的半轴长度。