【统计至简】【入门测试4】协方差矩阵的特征值分解

  协方差矩阵 C 的特征值分解 $C=V\Lambda V^T$，其中 $V$是由特征向量构成的矩阵，$\Lambda$ 是由特征值构成的对角矩阵。

1. 等式右侧第二个矩阵 $V$ 对应转置运算，为什么？

  协方差矩阵 $C$ 是实对称矩阵，根据实对称矩阵的谱定理，实对称矩阵 $C$ 一定可以正交对角化。也就是说，存在一个正交矩阵$V$（满足 $V^{T}V=V{V}^T=I$，其中 I 是单位矩阵）和一个对角矩阵 $\Lambda$，使得 $C=V\Lambda V^T$。
  从推导过程来看，设 $C$ 是 $n\times n$ 的实对称矩阵，${\lambda }_i$ 是 $C$ 的特征值，${\mathbf{v}}_i$ 是对应的特征向量，即 $C{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$，$i=1,2,\cdots ,n$。
  将这些特征向量按列排列构成矩阵 $V=[{\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n]$，则 $CV=V\Lambda$，其中 $\Lambda =\text{diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n)$。
  由于实对称矩阵不同特征值对应的特征向量相互正交，且可以将特征向量单位化，所以 $V$ 是正交矩阵，在等式 $CV=V\Lambda$ 两边同时右乘 $V^T$ 就得到 $C=V\Lambda V^T$。

2. 矩阵 $V$有什么特殊性质？如何从向量空间角度理解$V$？

特殊性质

• 正交性
    $V$ 是正交矩阵，即 $V^{T}V=V{V}^T=I$。这意味着$V$ 的列向量两两正交且模长为 1，即 :
  $${\mathbf{v}}_i^T{\mathbf{v}}_j=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$
• 可逆性：
    因为 V 是正交矩阵，所以 V 是可逆的，且 $V^{-1}=V^T$。

向量空间角度理解

  矩阵 $V$ 的列向量 ${\mathbf{v}}_1,{\mathbf{v}}_2,\cdots ,{\mathbf{v}}_n$ 构成了 n 维向量空间 ${\mathbb{R}}^n$ 的一组标准正交基。特征值分解可以看作是将原始的向量空间 ${\mathbb{R}}^n$ 通过$V$ 进行了一个基的变换。在新的基（由 $V$ 的列向量构成）下，协方差矩阵 $C$ 变成了对角矩阵 $\Lambda$，使得数据在新的基下的协方差结构更加清晰，各个维度之间相互独立。

3. 矩阵 $\Lambda$ 有什么特殊性质，什么条件下，C 特征值中有 0？

矩阵 $\Lambda$ 的特殊性质

• 对角性：
• $\Lambda$ 是对角矩阵，即除了主对角线上的元素 ${\lambda }_i$（$i=1,2,\cdots ,n$）外，其余元素均为 0。
• 特征值非负性：由于协方差矩阵 $C$ 是半正定矩阵（对于任意向量 $\mathbf{x}$，有 ${\mathbf{x}}^{T}C\mathbf{x}\ge 0$），所以其特征值 ${\lambda }_i\ge 0$，$i=1,2,\cdots ,n$。

C 特征值中有 0 的条件

  $C$ 的特征值中有 0 当且仅当$C$ 是奇异矩阵(不可逆），即 $\text{rank}(C)<n$。
  从数据的角度来看，这意味着数据在某些维度上存在完全的线性相关性，或者说数据实际上位于一个低于 $n$ 维的子空间中。例如，在二维空间中，如果两个变量完全线性相关，那么协方差矩阵的秩为 1，会有一个特征值为 0。

4. 如果把 $V$ 写成 $[{\mathbf{v}}_1,{\mathbf{v}}_2]$，$C=V\Lambda V^T$ 如何展开？

假设 C 是 $2\times 2$ 的协方差矩阵，$V=[{\mathbf{v}}_1,{\mathbf{v}}_2]$，$\Lambda =\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]$，则：
$$\begin{array}{rl}C& =V\Lambda V^T\\ & =[{\mathbf{v}}_1,{\mathbf{v}}_2]\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]\left[\begin{array}{c}{\mathbf{v}}_1^T\\ {\mathbf{v}}_2^T\end{array}\right]\\ & =[{\lambda }_1{\mathbf{v}}_1,{\lambda }_2{\mathbf{v}}_2]\left[\begin{array}{c}{\mathbf{v}}_1^T\\ {\mathbf{v}}_2^T\end{array}\right]\\ & ={\lambda }_1{\mathbf{v}}_1{\mathbf{v}}_1^T+{\lambda }_2{\mathbf{v}}_2{\mathbf{v}}_2^T\end{array}$$

5. 把 $V$ 写成 $[{\mathbf{v}}_1,{\mathbf{v}}_2]$，$V^{T}CV=\Lambda$ 如何展开？

$$\begin{array}{rl}{V}^{T}CV& =\left[\begin{array}{c}{\mathbf{v}}_1^T\\ {\mathbf{v}}_2^T\end{array}\right]C[{\mathbf{v}}_1,{\mathbf{v}}_2]\\ & =\left[\begin{array}{cc}{\mathbf{v}}_1^{T}C{\mathbf{v}}_1& {\mathbf{v}}_1^{T}C{\mathbf{v}}_2\\ {\mathbf{v}}_2^{T}C{\mathbf{v}}_1& {\mathbf{v}}_2^{T}C{\mathbf{v}}_2\end{array}\right]\end{array}$$
因为 $C{\mathbf{v}}_i={\lambda }_i{\mathbf{v}}_i$（$i=1,2$），且 ${\mathbf{v}}_i^T{\mathbf{v}}_j=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$，所以：$$\begin{array}{rl}{\mathbf{v}}_1^{T}C{\mathbf{v}}_1& ={\mathbf{v}}_1^T({\lambda }_1{\mathbf{v}}_1)={\lambda }_1{\mathbf{v}}_1^T{\mathbf{v}}_1={\lambda }_1\\ {\mathbf{v}}_1^{T}C{\mathbf{v}}_2& ={\mathbf{v}}_1^T({\lambda }_2{\mathbf{v}}_2)={\lambda }_2{\mathbf{v}}_1^T{\mathbf{v}}_2=0\\ {\mathbf{v}}_2^{T}C{\mathbf{v}}_1& ={\mathbf{v}}_2^T({\lambda }_1{\mathbf{v}}_1)={\lambda }_1{\mathbf{v}}_2^T{\mathbf{v}}_1=0\\ {\mathbf{v}}_2^{T}C{\mathbf{v}}_2& ={\mathbf{v}}_2^T({\lambda }_2{\mathbf{v}}_2)={\lambda }_2{\mathbf{v}}_2^T{\mathbf{v}}_2={\lambda }_2\end{array}$$所以 $V^{T}CV=\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]=\Lambda$。