人工智能之数学基础:矩阵的降维

本文重点

在现实世界中，我们经常会遇到高维数据。例如，图像数据通常具有很高的维度，每个像素点都可以看作是一个维度。高维数据不仅会带来计算和存储上的困难，还可能会导致 “维数灾难”，即随着维度的增加，数据的稀疏性和噪声也会增加，从而影响数据分析的效果。因此，我们需要一种方法来降低数据的维度，提取数据的关键特征，同时尽可能地保留数据的信息。

降维的核心----坐标变换

将一个5*3的矩阵降维到4*3，如何才可以呢？要想完成这个操作，需要使用一个4*5的矩阵（降维矩阵）

（4*5）*（5*3）=（4*3）

样本矩阵（5*3）的每一列表示一个样本，而降维矩阵（4*5）的每一行表示一个基，也就是说要想将一个维度为5的向量降低到4维，需要寻找一个新的基，这个基的维度是4，也就是说原始向量变换为新基下的坐标，核心还是坐标变换。

基于矩阵乘法的矩阵降维方法

基于矩阵乘法的矩阵降维方法主要有主成分分析（PCA）和奇异值分解（SVD）等。

主成分分析（PCA）