在数学中一个实对称矩阵的特性分析

如大家所知，在数学中一个实对称矩阵有 3 个性质：

1 不同特征值对应的特征向量必然正交

2 k 重特征值必定对应 k 个线性无关的特征向量

左侧公式展开了 Z 的协方差矩阵，右侧公式是矩阵的特征值/奇异值分解。可以发现特征值分解后，特征向量所组成的矩阵正好是一个对角矩阵，因此特征值分解原数据矩阵 A 后，特征向量所组成的矩阵即为要求的矩阵 P。

我们已经求出了新的空间 P，那么如何选取 P 最重要的 N 个维度，去除其他维度，以进行降维呢？

根据上面的推导，我们认为 Σ 和 Z 的协方差矩阵 (1/m)*Z(T)Z 相等，就是说，Σ 上对角线的值就是 Z 的每个属性的方差，由此我们可以确定，如果将 Σ 对角线上的元素按降序排列，取出 U 的前 K 个值，那么降维就完成了。