线性代数 - 奇异值分解（SVD Singular Value Decomposition）

线性代数 - 奇异值分解（SVD Singular Value Decomposition）

flyfish

奇异值分解（Singular Value Decomposition, SVD）是对于一个任意的实数矩阵 $\mathbf{M}\in {\mathbb{R}}^{m\times n}$（其中 $m$ 是行数，$n$ 是列数），SVD 可以将其分解为三个矩阵的乘积形式：

$$\mathbf{M}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$$

其中：
$\mathbf{U}\in {\mathbb{R}}^{m\times m}$ 是一个正交矩阵（即 ${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$），其列向量称为左奇异向量（left singular vectors）。这些向量是 $\mathbf{M}{\mathbf{M}}^T$ 的特征向量。

$\mathbf{\Sigma }\in {\mathbb{R}}^{m\times n}$ 是一个对角矩阵（或称为矩形对角矩阵），其对角线上的元素 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$（其中 $r=rank(\mathbf{M})$ 是矩阵的秩）称为奇异值（singular values），其余元素为 0。奇异值是 ${\mathbf{M}}^T\mathbf{M}$（或 $\mathbf{M}{\mathbf{M}}^T$）特征值的平方根。

$\mathbf{V}\in {\mathbb{R}}^{n\times n}$ 是一个正交矩阵（即 ${\mathbf{V}}^T\mathbf{V}=\mathbf{I}$），其列向量称为右奇异向量（right singular vectors）。这些向量是 ${\mathbf{M}}^T\mathbf{M}$ 的特征向量。

奇异值是非负的，且按降序排列。
SVD 总是存在的，且对于非方阵也适用。
矩阵的秩等于非零奇异值的个数。
SVD 可以用于矩阵的低秩逼近：保留前 $k$ 个最大的奇异值，可以得到 $\mathbf{M}$ 的最佳低秩近似。

计算 SVD 的步骤

要计算一个矩阵的 SVD，通常采用以下方法（基于特征值分解）：

1. 计算 $\mathbf{A}={\mathbf{M}}^T\mathbf{M}$（大小为 $n\times n$）和 $\mathbf{B}=\mathbf{M}{\mathbf{M}}^T$（大小为 $m\times m$）。
2. 求 $\mathbf{A}$ 的特征值 ${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n$ 和对应的单位特征向量 ${\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n$。这些 ${\lambda }_i$ 的非负平方根就是奇异值 ${\sigma }_i=\sqrt{{\lambda }_i}$。
3. 将这些特征向量作为 $\mathbf{V}$ 的列：$\mathbf{V}=[{\mathbf{v}}_1,{\mathbf{v}}_2,\dots ,{\mathbf{v}}_n]$。
4. 类似地，求 $\mathbf{B}$ 的特征值（与 $\mathbf{A}$ 的非零特征值相同）和单位特征向量 ${\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_m$，作为 $\mathbf{U}$ 的列：$\mathbf{U}=[{\mathbf{u}}_1,{\mathbf{u}}_2,\dots ,{\mathbf{u}}_m]$。
   注意：对于零奇异值对应的向量，可以通过正交化来选择。
5. 构造 $\mathbf{\Sigma }$：对角线上放置 ${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_{\min (m,n)}$，其余为 0。
6. （可选）调整符号，使得 $\mathbf{U}$ 和 $\mathbf{V}$ 满足某些约定（如正号），但这不影响分解的正确性，因为符号可以翻转而不改变乘积。

如果矩阵较大，通常使用数值方法（如 QR 迭代或 Jacobi 算法），但对于小矩阵，可以手动计算。

例子

给定矩阵：
$$\mathbf{M}=\left[\begin{array}{ccccc}1& 0& 0& 0& 2\\ 0& 0& 3& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 2& 0& 0& 0\end{array}\right]$$
这是一个 $4\times 5$ 矩阵，秩为 3（因为有三行线性独立，一行为零）。

步骤 1: 计算 ${\mathbf{M}}^T\mathbf{M}$

${\mathbf{M}}^T$ 是 $5\times 4$ 矩阵。计算 $\mathbf{A}={\mathbf{M}}^T\mathbf{M}$（$5\times 5$）：
$$\mathbf{A}=\left[\begin{array}{ccccc}1& 0& 0& 0& 2\\ 0& 4& 0& 0& 0\\ 0& 0& 9& 0& 0\\ 0& 0& 0& 0& 0\\ 2& 0& 0& 0& 4\end{array}\right]$$
（通过列向量的点积计算得到。）

步骤 2: 求 $\mathbf{A}$ 的特征值和特征向量

$\mathbf{A}$ 是稀疏的，可以分解为块：
位置 2：独立的 4（特征值 $\lambda =4$，特征向量 ${\mathbf{e}}_2=[0,1,0,0,0{]}^T$）。
位置 3：独立的 9（$\lambda =9$, ${\mathbf{e}}_3=[0,0,1,0,0{]}^T$）。
位置 4：独立的 0（$\lambda =0$, ${\mathbf{e}}_4=[0,0,0,1,0{]}^T$）。
位置 1 和 5：子矩阵 $\left[\begin{array}{cc}1& 2\\ 2& 4\end{array}\right]$，其特征值 $\lambda =5,0$（通过特征多项式 ${\lambda }^{2}5\lambda =0$ 求得）。
对于 $\lambda =5$：特征向量 $[1,2{]}^T$（子向量），归一化后全向量 $[1/\sqrt{5},0,0,0,2/\sqrt{5}{]}^T$。
对于 $\lambda =0$：特征向量 $[-2,1{]}^T$（子向量），归一化后全向量 $[-2/\sqrt{5},0,0,0,1/\sqrt{5}{]}^T$。

特征值（降序）：9, 5, 4, 0, 0。
奇异值：$\sigma =\sqrt{\lambda }$（降序）：$3,\sqrt{5}\approx 2.236,2,0,0$。

将特征向量按奇异值降序排列作为 $\mathbf{V}$ 的列：
$$\mathbf{V}=\left[\begin{array}{ccccc}0& 1/\sqrt{5}& 0& -2/\sqrt{5}& 0\\ 0& 0& 1& 0& 0\\ 1& 0& 0& 0& 0\\ 0& 0& 0& 0& 1\\ 0& 2/\sqrt{5}& 0& 1/\sqrt{5}& 0\end{array}\right]$$
则 ${\mathbf{V}}^T=\mathbf{V}$ 的转置：
$${\mathbf{V}}^T=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 1/\sqrt{5}& 0& 0& 0& 2/\sqrt{5}\\ 0& 1& 0& 0& 0\\ -2/\sqrt{5}& 0& 0& 0& 1/\sqrt{5}\\ 0& 0& 0& 1& 0\end{array}\right]$$

步骤 3: 计算 $\mathbf{M}{\mathbf{M}}^T$

$\mathbf{B}=\mathbf{M}{\mathbf{M}}^T$（$4\times 4$）是对角矩阵（因为行向量正交）：
$$\mathbf{B}=\left[\begin{array}{cccc}5& 0& 0& 0\\ 0& 9& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 4\end{array}\right]$$

步骤 4: 求 $\mathbf{B}$ 的特征值和特征向量

特征值：5, 9, 0, 4（与 $\mathbf{A}$ 的非零部分相同）。
特征向量（单位向量，按原对角位置）：${\mathbf{e}}_1=[1,0,0,0{]}^T$（$\lambda =5$）、${\mathbf{e}}_2=[0,1,0,0{]}^T$（$\lambda =9$）、${\mathbf{e}}_3=[0,0,1,0{]}^T$（$\lambda =0$）、${\mathbf{e}}_4=[0,0,0,1{]}^T$（$\lambda =4$）。

按奇异值降序排列作为 $\mathbf{U}$ 的列：
$$\mathbf{U}=\left[\begin{array}{cccc}0& 1& 0& 0\\ 1& 0& 0& 0\\ 0& 0& 0& 1\\ 0& 0& 1& 0\end{array}\right]$$

步骤 5: 构造 $\mathbf{\Sigma }$

$\mathbf{\Sigma }$ 是 $4\times 5$ 矩阵，对角线上为奇异值，其余为 0：
$$\mathbf{\Sigma }=\left[\begin{array}{ccccc}3& 0& 0& 0& 0\\ 0& \sqrt{5}& 0& 0& 0\\ 0& 0& 2& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]$$

验证

可以通过计算 $\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$ 验证是否等于 $\mathbf{M}$。由于推导基于标准方法，且矩阵简单，此分解是正确的（忽略可能的符号差异，因为 SVD 不唯一于符号）。例如，计算第一行：涉及 $\mathbf{U}$ 的第二行（因为 U 的第二行对应原第一行，但置换了），结合 V^T 等，恢复原值。

奇异值分解（SVD）的三个矩阵

例子矩阵 $\mathbf{M}=\left[\begin{array}{ccccc}1& 0& 0& 0& 2\\ 0& 0& 3& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 2& 0& 0& 0\end{array}\right]$（一个 4×5 矩阵）进行说明。这个例子是通过特征值分解手动计算得到的，奇异值按降序排列为 $3,\sqrt{5}\approx 2.236,2,0$（由于矩阵秩为 3，最后一个为 0）。

1. $\mathbf{U}$ 矩阵：左奇异向量矩阵

形状和类型：$\mathbf{U}\in {\mathbb{R}}^{m\times m}$ 是一个方阵（行数等于原矩阵的行数 m），并且是一个正交矩阵（orthogonal matrix），即满足 ${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$（$\mathbf{I}$ 是单位矩阵）。这意味着 $\mathbf{U}$ 的列向量是单位向量且相互正交。
内容和含义：$\mathbf{U}$ 的列向量称为左奇异向量（left singular vectors）。这些向量是矩阵 $\mathbf{M}{\mathbf{M}}^T$ 的特征向量，按对应奇异值的降序排列。它们描述了原矩阵 $\mathbf{M}$ 在行空间（row space）中的“主要方向”或“模式”。在数据分析中，$\mathbf{U}$ 可以用于捕捉数据中的行相关模式，例如在图像压缩中表示像素行的变换基。
性质：
正交性确保了向量间的独立性，便于坐标变换。
非唯一性：每个列向量的符号可以翻转（乘以 -1），因为这不会改变 SVD 的乘积结果（符号会在 ${\mathbf{V}}^T$ 中相应调整）。
对于零奇异值对应的部分，向量是在零空间的正交补中选择的任意正交基。
如何计算：通过对 $\mathbf{B}=\mathbf{M}{\mathbf{M}}^T$（一个 m×m 对称矩阵）进行特征值分解，得到特征向量，然后按特征值的降序（对应奇异值的平方）排列并归一化。
例子中的 $\mathbf{U}$：在之前的计算中，一个有效的 $\mathbf{U}$ 是：
$$\mathbf{U}=\left[\begin{array}{cccc}0& 1& 0& 0\\ 1& 0& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$$
（按奇异值降序：对应 3 的向量 $[0,1,0,0{]}^T$，对应 $\sqrt{5}$ 的 $[1,0,0,0{]}^T$，对应 2 的$[0,0,0,1{]}^T$，对应 0 的$[0,0,1,0{]}^T$）。另一个等价版本是所有列取负号：
$$\mathbf{U}=\left[\begin{array}{cccc}0& -1& 0& 0\\ -1& 0& 0& 0\\ 0& 0& 0& -1\\ 0& 0& -1& 0\end{array}\right]$$
这反映了符号的任意性。计算过程：从 $\mathbf{B}$ 的特征向量直接得到，这些向量本质上是单位矩阵的置换和符号调整，因为 $\mathbf{B}$ 是对角的。

2. $\mathbf{\Sigma }$ 矩阵：奇异值矩阵

形状和类型：$\mathbf{\Sigma }\in {\mathbb{R}}^{m\times n}$ 是一个矩形对角矩阵（rectangular diagonal matrix），即只有主对角线（从左上到右下，最多 $\min (m,n)$ 个元素）上有非零元素，其余全为 0。如果 m ≠ n，它不是方阵。
内容和含义：对角线上的元素称为奇异值（singular values），记为 ${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$，其中 r 是矩阵 $\mathbf{M}$ 的秩（rank），其余奇异值为 0。奇异值是 ${\mathbf{M}}^T\mathbf{M}$（或 $\mathbf{M}{\mathbf{M}}^T$）的非零特征值的平方根。它们量化了矩阵在每个“方向”上的“伸缩因子”或“重要性”。大的奇异值对应主要模式，小的对应噪声或冗余。在应用中，奇异值用于矩阵的低秩逼近：截断小的奇异值可以压缩数据而保留主要信息。
性质：
非负且降序排列。
矩阵的 Frobenius 范数等于奇异值的平方和的平方根：$\Vert \mathbf{M}{\Vert }_F=\sqrt{\sum {\sigma }_i^2}$。
秩 r = 非零奇异值的个数。
如果所有奇异值相等，矩阵接近于正交变换；如果许多为 0，矩阵低秩。
如何计算：从 ${\mathbf{M}}^T\mathbf{M}$ 的特征值 ${\lambda }_i$ 取平方根 ${\sigma }_i=\sqrt{{\lambda }_i}$，并按降序放置在对角线上。
例子中的 $\mathbf{\Sigma }$：对于 4×5 矩阵：
$$\mathbf{\Sigma }=\left[\begin{array}{ccccc}3& 0& 0& 0& 0\\ 0& \sqrt{5}& 0& 0& 0\\ 0& 0& 2& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]$$
这里，前三个奇异值对应矩阵的三个独立成分，最后两个列为 0（因为 n > m）。计算过程：从特征值 9、5、4、0、0 取平方根得到 3、$\sqrt{5}$、2、0、0，然后填充到 4×5 矩阵的对角。

3. ${\mathbf{V}}^T$ 矩阵：右奇异向量矩阵的转置

形状和类型：${\mathbf{V}}^T\in {\mathbb{R}}^{n\times n}$ 是一个方阵（列数等于原矩阵的列数 n），但实际上它是 $\mathbf{V}$ 的转置，其中 $\mathbf{V}$ 也是一个正交矩阵（${\mathbf{V}}^T\mathbf{V}=\mathbf{I}$）。因此，${\mathbf{V}}^T$ 的行向量是单位正交的。
内容和含义：$\mathbf{V}$ 的列向量称为右奇异向量（right singular vectors），是矩阵 ${\mathbf{M}}^T\mathbf{M}$ 的特征向量。${\mathbf{V}}^T$ 描述了原矩阵 $\mathbf{M}$ 在列空间（column space）中的“主要方向”。在推荐系统中，${\mathbf{V}}^T$ 可以表示用户或物品的潜在特征。
性质：
与 $\mathbf{U}$ 类似，正交性、符号任意性和零空间的任意基。
${\mathbf{V}}^T$ 的转置形式使得 SVD 公式更紧凑：它将右向量作为行应用到 $\mathbf{\Sigma }$ 上。
如何计算：通过对 $\mathbf{A}={\mathbf{M}}^T\mathbf{M}$（一个 n×n 对称矩阵）进行特征值分解，得到特征向量作为 $\mathbf{V}$ 的列，然后取转置。
例子中的 ${\mathbf{V}}^T$：一个有效的版本是：
$${\mathbf{V}}^T=\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 1/\sqrt{5}& 0& 0& 0& 2/\sqrt{5}\\ 0& 1& 0& 0& 0\\ -2/\sqrt{5}& 0& 0& 0& 1/\sqrt{5}\\ 0& 0& 0& 1& 0\end{array}\right]$$
（对应右奇异向量按降序排列）。符号翻转和零向量顺序调整后的：
$${\mathbf{V}}^T=\left[\begin{array}{ccccc}0& 0& -1& 0& 0\\ -1/\sqrt{5}& 0& 0& 0& -2/\sqrt{5}\\ 0& -1& 0& 0& 0\\ 0& 0& 0& 1& 0\\ -2/\sqrt{5}& 0& 0& 0& 1/\sqrt{5}\end{array}\right]$$
（使用 $\sqrt{0.2}=1/\sqrt{5}\approx 0.447$, $\sqrt{0.8}=2/\sqrt{5}\approx 0.894$ 的负号形式）。计算过程：从 $\mathbf{A}$ 的块结构中求解子矩阵的特征向量，并归一化。

如何到达这些矩阵的解决方案

SVD 的计算基于对称矩阵的特征值分解，这是标准线性代数方法：

1. 计算 $\mathbf{A}={\mathbf{M}}^T\mathbf{M}$ 和 $\mathbf{B}=\mathbf{M}{\mathbf{M}}^T$。
2. 对 $\mathbf{A}$ 求特征值 ${\lambda }_i$ 和向量 ${\mathbf{v}}_i$，得到 ${\sigma }_i=\sqrt{{\lambda }_i}$ 和 $\mathbf{V}=[{\mathbf{v}}_1,\dots ,{\mathbf{v}}_n]$。
3. 对 $\mathbf{B}$ 求特征向量 ${\mathbf{u}}_i$，得到 $\mathbf{U}=[{\mathbf{u}}_1,\dots ,{\mathbf{u}}_m]$。
4. 构造 $\mathbf{\Sigma }$ 并验证 $\mathbf{M}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$。

这个过程是结构化的：从对称矩阵开始（易于对角化），然后提取平方根和向量。对于大型矩阵，使用数值算法（如 Golub-Reinsch 或 Divide-and-Conquer）。在例子中，由于矩阵稀疏，计算简化为了块对角形式的手动求解。

另一种形式

矩阵 $\mathbf{M}$ 的奇异值分解（SVD），即 $\mathbf{M}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^{\ast }$（其中 ${\mathbf{V}}^{\ast }$ 是 $\mathbf{V}$ 的转置，实数矩阵中可视为 ${\mathbf{V}}^T$）。以下分三个矩阵详细解释：

1. 原矩阵 $\mathbf{M}$

$$\mathbf{M}=\left[\begin{array}{ccccc}1& 0& 0& 0& 2\\ 0& 0& 3& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 2& 0& 0& 0\end{array}\right]$$
维度为 $4\times 5$（4行5列），秩 $r=3$（有3个非零行/列）。

2. 左奇异矩阵 $\mathbf{U}$

$$\mathbf{U}=\left[\begin{array}{cccc}0& -1& 0& 0\\ -1& 0& 0& 0\\ 0& 0& 0& -1\\ 0& 0& -1& 0\end{array}\right]$$

• 维度与结构：$4\times 4$ 正交矩阵（满足 ${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$）。
• 来源：列向量是 $\mathbf{M}{\mathbf{M}}^T$ 的特征向量。计算 $\mathbf{M}{\mathbf{M}}^T$ 得：
  $$\mathbf{M}{\mathbf{M}}^T=\left[\begin{array}{cccc}5& 0& 0& 0\\ 0& 9& 0& 0\\ 0& 0& 0& 0\\ 0& 0& 0& 4\end{array}\right]$$
  其特征值为 $9,5,4,0$，对应奇异值 $3,\sqrt{5},2,0$，$\mathbf{U}$ 的列是这些特征值的单位特征向量（方向有负号，不影响正交性）。

3. 奇异值矩阵 $\mathbf{\Sigma }$

$$\mathbf{\Sigma }=\left[\begin{array}{ccccc}3& 0& 0& 0& 0\\ 0& \sqrt{5}& 0& 0& 0\\ 0& 0& 2& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right]$$

• 维度与结构：$4\times 5$ 对角矩阵，仅主对角线有非零元素。
• 奇异值：${\sigma }_1=3,{\sigma }_2=\sqrt{5},{\sigma }_3=2,{\sigma }_4=0$，满足非负、降序排列（$3\ge \sqrt{5}\ge 2\ge 0$），非零奇异值个数等于原矩阵的秩 $r=3$。

4. 右奇异矩阵的转置 ${\mathbf{V}}^{\ast }$

$${\mathbf{V}}^{\ast }=\left[\begin{array}{ccccc}0& 0& -1& 0& 0\\ -\sqrt{0.2}& 0& 0& 0& -\sqrt{0.8}\\ 0& -1& 0& 0& 0\\ 0& 0& 0& 1& 0\\ -\sqrt{0.8}& 0& 0& 0& \sqrt{0.2}\end{array}\right]$$
维度与结构：$5\times 5$ 正交矩阵的转置（满足 $\mathbf{V}{\mathbf{V}}^{\ast }=\mathbf{I}$）。
来源：行向量是 ${\mathbf{M}}^T\mathbf{M}$ 的特征向量。${\mathbf{M}}^T\mathbf{M}$ 的特征值与 $\mathbf{M}{\mathbf{M}}^T$ 一致（$9,5,4,0,0$），${\mathbf{V}}^{\ast }$ 的行是这些特征值的单位特征向量（如第二行 $-\sqrt{0.2}=-1/\sqrt{5}$、$-\sqrt{0.8}=-2/\sqrt{5}$，满足单位长度和正交性）。

矩阵	维度	性质	特征
$\mathbf{U}$	$m\times m$	正交矩阵（${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$）	列是$\mathbf{M}{\mathbf{M}}^T$的特征向量
$\mathbf{\Sigma }$	$m\times n$	对角矩阵，奇异值非负且降序排列	${\sigma }_i=\sqrt{{\lambda }_i}$（${\lambda }_i$为特征值）
${\mathbf{V}}^T$	$n\times n$	正交矩阵（${\mathbf{V}}^T\mathbf{V}=\mathbf{I}$）	行是${\mathbf{M}}^T\mathbf{M}$的特征向量（即$\mathbf{V}$的列）