特征值与特征向量与SVD矩阵分解

特征值与特征向量

矩阵究竟做了什么?

矩阵对向量可以做拉伸也可以做旋转
$\left[\begin{array}{ll}3& 0\\ 0& 1\end{array}\right]\left[\begin{array}{l}x\\ y\end{array}\right]=\left[\begin{array}{l}3x\\ y\end{array}\right]$

矩阵$M$定义为：
$M=\left[\begin{array}{ll}1& 1\\ 0& 1\end{array}\right]$

特征值和特征向量描述了什么?

拳击怎么赢?攻击的方向与力量!
我们可以把方向当做是特征向量，在这个方向上用了多大力量就是特征值。

数学定义

对于给定矩阵$A$，寻找一个常数$\lambda$和非零向量$x$，使得向量$x$被矩阵$A$作用后所得的向量$Ax$与原向量$x$平行，并且满足$Ax=\lambda x$

特征空间

特征空间中包含了所有的特征向量

特征向量的应用

既然特征值表达了重要程度且和特征向量所对应，那么特征值大的就是主要信息了，基于这点我们可以提取各种有价值的信息了!

SVD矩阵分解

向量的表示及基变换

向量可以表示为$(3,2)$
实际上表示线性组合：$x(1,0{)}^{\top }+y(0,1{)}^{\top }$

基：$(1,0)$和$(0,1)$叫做二维空间中的一组基

基变换（一）

基是正交的（即内积为0，或直观说相互垂直）
要求：线性无关

基变换（二）

变换：数据与一个基做内积运算，结果作为第一个新的坐标分量，然后与第二个基做内积运算，结果作为第二个新坐标的分量

数据$(3,2)$映射到基中坐标：
$\left(\begin{array}{rr}1/\sqrt{2}& 1/\sqrt{2}\\ -1/\sqrt{2}& 1/\sqrt{2}\end{array}\right)\left(\begin{array}{l}3\\ 2\end{array}\right)=\left(\begin{array}{r}5/\sqrt{2}\\ -1/\sqrt{2}\end{array}\right)$

矩阵乘以一个向量

结果仍是一个向量
$\left[\begin{array}{ll}3& 0\\ 0& 1\end{array}\right]\left[\begin{array}{l}x\\ y\end{array}\right]=\left[\begin{array}{l}3x\\ y\end{array}\right]$

矩阵$M$定义为：
$M=\left[\begin{array}{ll}1& 1\\ 0& 1\end{array}\right]$

特征值分解

矩阵里面的信息有很多呀？来分一分吧！$A=U\Lambda U^{-1}$

当矩阵是$N\times N$的方阵且有$N$个线性无关的特征向量时就可以来玩啦！
这时候我们就可以在对角阵当中找比较大的啦，他们就是代表了！

SVD（一）

特征值分解不挺好的嘛，但是它被限制住了，如果我的矩阵形状变了呢？
但是问题也来了，如果$M$和$N$都很大呢？

SVD（二）

照样按照特征值的大小来进行筛选，一般前10%的特征值（甚至更少）的和就占到了总体的99%了。
取前$K$个来看看吧！

SVD推导（一）

前提：对于一个二维矩阵$M$可以找到一组标准正交基$v_1$和$v_2$使得$M{v}_1$和$M{v}_2$是正交的。

SVD推导（二）

使用另一组正交基$u_1$和$u_2$来表示$M{v}_1$和$M{v}_2$的方向

其长度分别为：$\Vert M{v}_1\Vert ={\sigma }_1$，$\Vert M{v}_2\Vert ={\sigma }_2$，可得：

$M{v}_1={\sigma }_1{u}_1$

$M{v}_2={\sigma }_2{u}_2$

对于向量$X$在这组基中的表示：$x=(v_1\cdot x)v_1+(v_2\cdot x)v_2$

（点积表示投影的长度，可转换成行向量乘列向量 $v\cdot x=v^{T}x$）

可得：

$Mx=(v_1\cdot x)M{v}_1+(v_2\cdot x)M{v}_2$

$Mx=(v_1\cdot x){\sigma }_1{u}_1+(v_2\cdot x){\sigma }_2{u}_2$

从而：

$Mx=u_1{\sigma }_1{v}_1^{T}x+u_2{\sigma }_2{v}_2^{T}x$

$M=u_1{\sigma }_1{v}_1^T+u_2{\sigma }_2{v}_2^T$

化简得：$M=U\Sigma V^T$