线性代数 - 奇异值分解（SVD Singular Value Decomposition）- 奇异值在哪里

线性代数 - 奇异值分解（SVD Singular Value Decomposition）- 奇异值在哪里

flyfish

线性代数 - 正交矩阵
线性代数 - 矩阵求逆

通过图中可以看到奇异值（singular balues）在D里面

公式：$\mathbf{A}=\mathbf{U\Sigma }{\mathbf{V}}^T$

• $\mathbf{A}$ 是任意矩阵（可以是方阵、非方阵，比如2×3、3×4等）；
• $\mathbf{U}$ 和 $\mathbf{V}$ 是正交矩阵（满足 ${\mathbf{U}}^T\mathbf{U}=\mathbf{I}$、${\mathbf{V}}^T\mathbf{V}=\mathbf{I}$）；
• $\mathbf{\Sigma }$是对角矩阵，对角线上的元素就是奇异值，按从大到小排列。

例如，一个3×3的对角矩阵形式为：
$$\mathbf{D}=\left[\begin{array}{ccc}{d}_1& 0& 0\\ 0& d_2& 0\\ 0& 0& d_3\end{array}\right]$$
其中 $d_1,d_2,d_3$ 是主对角线上的元素，其余位置（如$(1,2)$、$(2,3)$等）均为0。
对角矩阵是一类特殊的方阵（行数=列数），其特征是：仅主对角线（从左上角到右下角）上的元素可以非零，其余位置的元素全为0。

在奇异值分解 $\mathbf{A}=\mathbf{U}\boxed{\mathbf{\Sigma }}{\mathbf{V}}^T$ 中：
只有拉伸部分 $\boxed{\mathbf{\Sigma }}$ 包含奇异值（即其对角线上的数值），这些值量化了矩阵在对应方向上的“拉伸强度”；

对角矩阵的符号
用希腊字母Σ（Sigma）的加粗形式，即 $\mathbf{\Sigma }$，英文读作 “sigma matrix”；
也常用大写字母D，即 $\mathbf{D}$，英文读作 “D matrix”。

singular 的意思

日常（形容词）

单独的、单个的（强调“数量唯一”） a singular example → 一个单独的例子、singular focus → 唯一的焦点
奇特的、特殊的（强调“不寻常、与众不同”，略带中性或轻微褒义） ：a singular style → 奇特的风格、singular talent → 非凡的天赋
单数（的）
Singular Form → 单数形式、Singular Number → 单数
对应“Plural（复数）”，是语法术语固定译法。

线性代数（场景）

奇异
Singular Matrix → 奇异矩阵（不可逆矩阵）、Singular Value → 奇异值
这里的“奇异”和日常含义无关

奇异向量和奇异值的载体

左奇异向量（Left singular vectors）：指矩阵 $\mathbf{U}$ 的列向量，这些列向量是 $\mathbf{A}{\mathbf{A}}^T$ 的特征向量，组成的矩阵 $\mathbf{U}$ 是正交矩阵（实现“旋转”操作）。

右奇异向量（Right singular vectors）：指矩阵 $\mathbf{V}$ 的列向量，这些列向量是 ${\mathbf{A}}^T\mathbf{A}$ 的特征向量，组成的矩阵 $\mathbf{V}$ 是正交矩阵（实现“旋转”操作）。

奇异值（Singular values）：指对角矩阵 $\mathbf{D}$（图中用 $\mathbf{D}$ 标注，也常用 $\mathbf{\Sigma }$）主对角线上的数值，是 ${\mathbf{A}}^T\mathbf{A}$（或 $\mathbf{A}{\mathbf{A}}^T$）特征值的非负平方根，实现“拉伸”操作。

$\mathbf{U}$ 和 $\mathbf{V}$ 是由奇异向量“组成的矩阵”（每个列向量是奇异向量）；
$\mathbf{D}$ 是装奇异值的“对角矩阵”（数值本身是奇异值）。