数学笔记1

参考：https://blog.csdn.net/u010087338/article/details/117696482

1、均值、标准差、方差

• 均值、期望：估算样品集合的平均水平
  $$\overline{\text{X}}=\frac{{\sum }_{i=1}^n{X}_i}{n}$$
• 标准差：
  $$s=\sqrt{\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}{n-1}}$$
• 方差：估算样品集合的散步度，单元维度偏离其均值的程度
  $$s^2=\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}{n-1}$$

2、协方差

• 协方差（covariance）：模拟方差的定义，度量各个维度偏离其均值的程度
  $$cov(X,Y)=\frac{{\sum }_{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{n-1}$$
  通俗理解：方差是计算一个班级每个人身高的离散程度之和。协方差是计算一个班级每个人（i=0,1,2…）的身高和体重（两个变量）的相互影响，然后求和。
  其他公式：（E表示数学期望）
  $$Cov(X_i,X_j)=E[(X_i-E[X_i])(X_j-E[X_j])]$$

2.1、协方差矩阵

描述多个随机变量之间的协方差的方阵。协方差是两个随机变量的线性相关程度的度量。

如果有n个随机变量$X_1,X_2,\dots ,X_n$，那么它们的协方差矩阵$\sum$可以表示为：
$$\sum =\left[\begin{array}{cccc}Cov(X_1,X_1)& Cov(X_1,X_2)& \cdots & Cov(X_1,X_n)\\ Cov(X_2,X_1)& Cov(X_2,X_2)& \cdots & Cov(X_1,X_n)\\ ⋮& ⋮& \ddots & ⋮\\ Cov(X_n,X_1)& Cov(X_n,X_2)& \cdots & Cov(X_n,X_n)\end{array}\right]\text{\hspace{1em}(c)}$$

2.1.1、协方差矩阵奇异值分解（SVD）

• 将X的转置（$X^T$）与X相乘，等效于计算X和X在每个维度上对应坐标的内积。
• 内积反映两个向量在某个维度上的相似程度，越相似内积越大
• 因此$X^{T}X$的每个元素就是X和X在该维度上坐标的协方差（还没很理解enmm）

协方差矩阵是一个描述两个或多个随机变量之间的线性关系的矩阵，它的元素是各对随机变量之间的协方差。协方差矩阵可以进行奇异分解（SVD），参考下面SVD解析，假设X是一个np的数据矩阵，每一行是一个p维的观测值，每一列斯一个n维的变量，那么X的协方差矩阵S可以写为：$$S=\frac{1}{n-1}{X}^{T}X$$
S的奇异值分解可以写为：
$$S=U\sum V^T$$
其中，U、V都是pp的正交矩阵（$U^{T}U=V{V}^T=I$，$I$是单位矩阵），$\sum$是p*p的对角矩阵（$\sum =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_p$，${\sigma }_i$是S的第i个奇异值，按降序排列）。

奇异值分解的几何意义是将原始数据在一个新的坐标系下展开，即各个主成分之间没有线性相关性。

• $\sum$表示各个主成分对数据方差的贡献，越大的奇异值对应越重要的主成分。
• V表示原始数据在新坐标下的投影。

3、奇异值分解（SVD）

参考：https://zhuanlan.zhihu.com/p/448767610?utm_id=0
奇异值分解（SVD，Singular Value Decomposition），主要思想就是主成分分解，求解奇异值。粗俗理解就是一个矩阵(A)转化为3个矩阵($U、\sum 、V^T$)乘积：
$$A=U\sum V^T$$
其中：
A：M*N的矩阵；
$U$：M*M的正交矩阵（即$U^{T}U=I$），$U=A{A}^T$；
$\sum$：M*N的对角矩阵（除主对角线全部是0），主对角线每个元素为奇异值
V：N*N的正交矩阵，$V^T=A^{T}A$