奇异值分解

以下讨论仅限于实数矩阵范围以内，不考虑复数矩阵。

1. 定理描述

奇异值分解(Singular Value Decomposition, SVD)定理描述如下：
假设 $\mathbf{A}$ 是 $m\times n$ 的矩阵，并且 $\mathbf{A}$ 的秩为 $rank(\mathbf{A})=r$，则 $\mathbf{A}$ 可以分解为如下形式：
$$\mathbf{A}={\mathbf{U}}_{m\times m}{\left(\begin{array}{cc}{\mathbf{\Sigma }}_{r\times r}& {\mathbf{O}}_{r\times (n-r)}\\ {\mathbf{O}}_{(m-r)\times r}& {\mathbf{O}}_{(m-r)\times (n-r)}\end{array}\right)}_{m\times n}{\mathbf{V}}_{n\times n}^T$$其中：

• ${\mathbf{\Sigma }}_{r\times r}={\left[\begin{array}{ccc}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_r\end{array}\right]}_{r\times r}$，这里 ${\sigma }_1⩾\cdots ⩾{\sigma }_r>0$ 是 $\mathbf{A}$ 的奇异值，${\sigma }_i=\sqrt{{\lambda }_i}(i=1,2,\cdots ,r)$ 为 ${\mathbf{A}}^{\mathbf{T}}\mathbf{A}$ 的 $r$ 个非零特征值
• ${\mathbf{U}}_{m\times m}$ 和 ${\mathbf{V}}_{n\times n}$ 是正交矩阵

2. 引理证明

奇异值分解的证明需要用到秩-零化度定理(Rank-Nullity Theorem)。秩-零化度定理是线性代数的核心定理之一，描述了线性变换或矩阵的秩(rank)与零化度(nullity)之间的关系。定理描述如下：
设 $\mathbf{A}$ 为 $m\times n$ 矩阵（这里假设 $m>n$），则满足：
$$rank(\mathbf{A})+nullity(\mathbf{A})=n$$数学符号说明：

• $nullity$ 表示零化度，即核空间（零空间）的维度，记 $nullity(\mathbf{A})=dim(N(\mathbf{A}))$
• 符号 $N(\mathbf{A})$ 表示矩阵 $\mathbf{A}$ 的核空间(Kernel Space)​，也称为零空间(Null Space)​。$N(\mathbf{A})$ 定义为所有满足齐次线性方程组 $\mathbf{A}x=0$ 的解向量构成的集合：
  $$N(\mathbf{A})=x\in {\mathbb{R}}^n$$

引理一：$rank(\mathbf{A}{\mathbf{A}}^T)=rank({\mathbf{A}}^T\mathbf{A})=rank(\mathbf{A})$
证明：
事实上，我们只需要证明 $rank({\mathbf{A}}^T\mathbf{A})=rank(\mathbf{A})$。
因为当 $rank({\mathbf{A}}^T\mathbf{A})=rank(\mathbf{A})$ 成立时，有 $rank(\mathbf{A}{\mathbf{A}}^T)=rank((\mathbf{A}{\mathbf{A}}^T{)}^T)=rank(({\mathbf{A}}^T{)}^T{\mathbf{A}}^T)=rank({\mathbf{A}}^T)=rank(\mathbf{A})=rank({\mathbf{A}}^T\mathbf{A})$。
根据秩-零化度定理有：
$$rank({\mathbf{A}}^T\mathbf{A})+dim(N({\mathbf{A}}^T\mathbf{A}))=n=rank(\mathbf{A})+dim(N(\mathbf{A}))$$即只需证明 $dim(N({\mathbf{A}}^T\mathbf{A}))=dim(N(\mathbf{A}))$ 即可。
一方面，对于任意 $x\in N(\mathbf{A})$，即 $\mathbf{A}x=0$，从而有：
$${\mathbf{A}}^T\mathbf{A}x={\mathbf{A}}^{T}0=0$$所以有 $N(\mathbf{A})\subseteq N({\mathbf{A}}^T\mathbf{A})$。
另一方面，对于任意 $x\in N({\mathbf{A}}^T\mathbf{A})$，即 ${\mathbf{A}}^T\mathbf{A}x=0$，从而有：
$$x^T{\mathbf{A}}^T\mathbf{A}x=0\Rightarrow \Vert \mathbf{A}x{\Vert }^2=0\Rightarrow \mathbf{A}x=0$$所以有 $N({\mathbf{A}}^T\mathbf{A})\subseteq N(\mathbf{A})$。
综上有 $N({\mathbf{A}}^T\mathbf{A})=N(\mathbf{A})$，即 $dim(N({\mathbf{A}}^T\mathbf{A}))=dim(N(\mathbf{A}))$。
证毕。

引理二：${\mathbf{A}}^T\mathbf{A}$ 和 $\mathbf{A}{\mathbf{A}}^T$ 的特征值都是非负的，并且 ${\mathbf{A}}^T\mathbf{A}$ 和 $\mathbf{A}{\mathbf{A}}^T$ 都是半正定矩阵。
证明：
只证 ${\mathbf{A}}^T\mathbf{A}$ 的特征值都是非负的，并且 ${\mathbf{A}}^T\mathbf{A}$ 是非正定矩阵，对于 $\mathbf{A}{\mathbf{A}}^T$ 仿照证明即可。
令 $\lambda$ 是 ${\mathbf{A}}^T\mathbf{A}$ 的一个特征值，$v$ 是特征值 $\lambda$ 对应的特征向量，则有：
$${\mathbf{A}}^T\mathbf{A}v=\lambda v$$从而有：
$$\lambda \Vert v{\Vert }^2=\lambda v^{T}v=v^T(\lambda v)=v^T{\mathbf{A}}^T\mathbf{A}v=(\mathbf{A}v{)}^T(\mathbf{A}v)=\Vert \mathbf{A}v{\Vert }^2\ge 0$$所以有 $\lambda \ge 0$。
要证 ${\mathbf{A}}^T\mathbf{A}$ 是半正定矩阵，只需证对任意 $x\in {\mathbb{R}}^n$ 有 $x^T\mathbf{A}x\ge 0$ 恒成立。
事实上，$x^T{\mathbf{A}}^T\mathbf{A}x=(\mathbf{A}x{)}^T(\mathbf{A}x)=\Vert \mathbf{A}x{\Vert }^2\ge 0$。
证毕。

引理三：设 ${\lambda }_1,{\lambda }_2$ 是实对称矩阵 $\mathbf{A}$ 的两个互异特征值 (${\lambda }_1\ne {\lambda }_2$)，对应的特征向量分别为 $v_1$ 和 $v_2$，则 $v_1$ 和 $v_2$ 正交。
证明：
由题可知：$\mathbf{A}{v}_1={\lambda }_1{v}_1,\mathbf{A}{v}_2={\lambda }_2{v}_2$。一方面，对 $\mathbf{A}{v}_1={\lambda }_1{v}_1$ 两边进行转置：
$$(\mathbf{A}{v}_1{)}^T=({\lambda }_1{v}_1{)}^T\Rightarrow v_1^T{\mathbf{A}}^T=v_1^T\mathbf{A}={\lambda }_1{v}_1^T\Rightarrow v_1^T\mathbf{A}{v}_2={\lambda }_1{v}_1^T{v}_2$$另一方面，有：
$$\mathbf{A}{v}_2={\lambda }_2{v}_2\Rightarrow v_1^T\mathbf{A}{v}_2={\lambda }_2{v}_1^T{v}_2$$所以有：
$${\lambda }_1{v}_1^T{v}_2={\lambda }_2{v}_1^T{v}_2\Rightarrow ({\lambda }_1-{\lambda }_2)v_1^T{v}_2=0$$因为 ${\lambda }_1\ne {\lambda }_2\Rightarrow {\lambda }_1-{\lambda }_2\ne 0$，从而有 $v_1^T{v}_2=0$，即 $v_1$ 和 $v_2$ 正交。
证毕。

引理四（基扩充定理）：设 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m$ 是 $n$ 维向量空间 ${\mathbb{R}}^n$ 的标准正交向量组（即每个向量长度都为 1，且两两正交），其中 $m＜n$。那么一定存在一组向量 ${\beta }_1,{\beta }_2,\cdots ,{\beta }_{n-m}$ 使得 ${\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_m,{\beta }_1,{\beta }_2,\cdots ,{\beta }_{n-m}$ 构成 ${\mathbb{R}}^n$ 的标准正交基。
该定理的证明可以通过逐步添加新向量，并应用 Gram-Schmidt 过程进行正交化和归一化，以保持整个集合的标准正交性。在此不进行证明。

3. 定理证明

由引理一可知，$rank(\mathbf{A})={\mathbf{A}}^T\mathbf{A}=r$。根据引理二，不妨设 ${\mathbf{A}}^T\mathbf{A}$ 的 $n$ 个特征值为 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_r>{\lambda }_{r+1}=\cdots ={\lambda }_n=0$，这些特征值可以产生 $n$ 个标准正交的特征向量，即构成 $n$ 维向量空间 ${\mathbb{R}}^n$ 的标准正交基：
$$v_1,v_2,\cdots ,v_r,v_{r+1},\cdots ,v_n$$当 $i\ne j$ 时，根据引理三有： $(\mathbf{A}{v}_i{)}^T(\mathbf{A}{v}_j)=v_i^T{\mathbf{A}}^T\mathbf{A}{v}_j={\lambda }_i{v}_j^T{v}_i=0$，所以 $\mathbf{A}{v}_1,\mathbf{A}{v}_2,\cdots ,\mathbf{A}{v}_n$ 是正交向量组。
当 $i=j$ 且 $i\le r$ 时，$(\mathbf{A}{v}_i{)}^T(\mathbf{A}{v}_i)=v_i^T{\mathbf{A}}^T\mathbf{A}{v}_i=v_i^T{\lambda }_i{v}_i={\lambda }_i$。
令 $u_i=\frac{1}{\Vert \mathbf{A}{v}_i\Vert }\mathbf{A}{v}_i=\frac{1}{\sqrt{{\lambda }_i}}\mathbf{A}{v}_i$ $(i=1,2,\cdots ,r)$，则 $u_1,u_2,\cdots ,u_r$ 是 $m$ 维向量空间 ${\mathbb{R}}^m$ 的标准向量组，根据引理四，将其扩充为如下的标准正交基：
$$u_1,u_2,\cdots ,u_r,b_1,b_2,\cdots ,b_{m-r}$$则有：$$\begin{array}{rl}A\left(v_1,v_2,\cdots ,v_r,v_{r+1},\cdots ,v_n\right)& =\left(\sqrt{{\lambda }_1}{u}_1,\sqrt{{\lambda }_2}{u}_2,\cdots ,\sqrt{{\lambda }_r}{u}_r,0,\cdots ,0\right)\\ & =\left(u_1,u_2,\cdots ,u_r,b_1,\cdots ,b_{m-r}\right){\left(\begin{array}{ccccc}\sqrt{{\lambda }_1}& & & & \\ & \sqrt{{\lambda }_2}& & & \\ & & \ddots & & \\ & & & \sqrt{{\lambda }_r}& \\ & & & & {\mathbf{O}}_{(m-r)\times (n-r)}\end{array}\right)}_{m\times n}\end{array}$$令 $$\{\begin{array}{l}{\mathbf{\Sigma }}_{r\times r}={\left[\begin{array}{ccc}\sqrt{{\lambda }_1}& & \\ & \ddots & \\ & & \sqrt{{\lambda }_r}\end{array}\right]}_{r\times r}={\left[\begin{array}{ccc}{\sigma }_1& & \\ & \ddots & \\ & & {\sigma }_r\end{array}\right]}_{r\times r}\\ {\mathbf{U}}_{m\times m}=(u_1,u_2,\cdots ,u_r,b_1,b_2,\cdots ,b_{m-r}{)}_{m\times m}\\ {\mathbf{V}}_{n\times n}=(v_1,v_2,\cdots ,v_r,v_{r+1},\cdots ,v_n{)}_{n\times n}\end{array}$$则有 ${\mathbf{U}}_{m\times m}$ 和 ${\mathbf{V}}_{n\times n}$ 都为正交矩阵，
$${\mathbf{A}}_{m\times n}{\mathbf{V}}_{n\times n}={\mathbf{U}}_{m\times m}{\left(\begin{array}{cc}{\mathbf{\Sigma }}_{r\times r}& {\mathbf{O}}_{r\times (n-r)}\\ {\mathbf{O}}_{(m-r)\times r}& {\mathbf{O}}_{(m-r)\times (n-r)}\end{array}\right)}_{m\times n}$$即有：
$$\mathbf{A}={\mathbf{U}}_{m\times m}{\left(\begin{array}{cc}{\mathbf{\Sigma }}_{r\times r}& {\mathbf{O}}_{r\times (n-r)}\\ {\mathbf{O}}_{(m-r)\times r}& {\mathbf{O}}_{(m-r)\times (n-r)}\end{array}\right)}_{m\times n}{\mathbf{V}}_{n\times n}^T$$证毕。