协方差矩阵、皮尔逊相关系数

1.协方差

1.1 方差是什么？

方差衡量的是 一个变量本身的波动大小。
公式：$Var(X)=E[(X-u{)}^2]$
意思就是“和平均值差多少”的平方的平均。

1.2 协方差是什么？

协方差衡量的是 两个变量之间是否一起变动。

举例：
X = 身高，Y = 体重
如果身高高的人，体重大 → X 增大时 Y 也增大 → 协方差为正
如果身高高的人，体重反而轻 → X 增大时 Y 减小 → 协方差为负
如果二者没什么关系 → 协方差接近 0

公式：$Cov(X,Y)=E[(X-u_x)(Y-u_y)]$
数据样本形式：$Cov(X,Y)=\frac{1}{n-1}{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})$

1.3 协方差矩阵

当有多个变量时（比如 n 个特征），就把它们两两之间的协方差写成一个矩阵：
$$Cov(X)=\left[\begin{array}{cccc}Cov(X_1,X_1)& Cov(X_1,X_2)& \cdots & Cov(X_1,X_n)\\ Cov(X_2,X_1)& Cov(X_2,X_2)& \cdots & Cov(X_2,X_n)\\ ⋮& ⋮& ⋮& ⋮\\ Cov(X_n,X_1)& Cov(X_n,X_2)& \cdots & Cov(X_n,X_n)\end{array}\right]$$
特点：

• 对角线上是各个变量的方差（自己和自己之间的协方差）。
• 非对角线上是不同变量之间的协方差。
• 协方差矩阵一定是对称的$Cov(X_i,X_j)=Cov(X_j,X_i)$。

2.皮尔逊相关系数

公式如下：
$${\rho }_{X,Y}=\frac{Cov(X,Y)}{{\sigma }_X{\sigma }_Y}$$

• $Cov(X,Y)：$$X$和$Y$的协方差
• ${\sigma }_X=\sqrt{Var(X)}：$$X$的标准差
• ${\sigma }_Y=\sqrt{Var(Y)}：$$Y$的标准差

2.1 为什么要这样做？

协方差有个问题：数值大小依赖于量纲，不能直接比较。

• 比如“身高(cm)”和“体重(kg)”的协方差是某个值；
• 换成“身高(m)”和“体重(g)”，协方差数值就会变得很大或很小。

所以我们用标准差来“消掉量纲的影响”：

• 除以${\sigma }_X$和${\sigma }_Y$，相当于把$X、Y$都变成“标准化变量”（均值=0，方差=1）
• 这样之后，结果一定在-1到1之间，方便比较

下列证明：结果一定在-1到1之间
$$\begin{gathered} {\rho }_{X,Y}=\frac{\frac{1}{n-1}{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\sqrt{\frac{1}{n-1}{\sum }_{i=1}^n(y_i-\overline{y}{)}^2}} \\ {\rho }_{X,Y}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}\sqrt{{\sum }_{i=1}^n(y_i-\overline{y}{)}^2}} \end{gathered}$$
把数据做“去中心化”：

• 令$x_i^{\prime }=x_i-\overline{x},y_i^{\prime }=y_i-\overline{y}$
• 写成向量${\mathbf{x}}^{\prime }=(x_i^{\prime },\cdots ,x_n^{\prime })，{\mathbf{y}}^{\prime }=(y_1^{\prime },\cdots ,y_n^{\prime })$

皮尔逊相关系数可写成两向量的“余弦”：
$$\begin{gathered} {\rho }_{X,Y}=\frac{{\sum }_{i=1}^n{x}_i^{\prime }{y}_i^{\prime }}{\sqrt{{\sum }_{i=1}^n(x_i^{\prime }{)}^2}\sqrt{{\sum }_{i=1}^n(y_i^{\prime }{)}^2}}=\frac{⟨{\mathbf{x}}^{\prime },{\mathbf{y}}^{\prime }⟩}{\Vert {\mathbf{x}}^{\prime }\Vert \Vert {\mathbf{y}}^{\prime }\Vert } \\ ⟨{\mathbf{x}}^{\prime },{\mathbf{y}}^{\prime }⟩={\mathbf{x}}^{\prime }\cdot {\mathbf{y}}^{\prime }=\Vert {\mathbf{x}}^{\prime }\Vert \Vert {\mathbf{y}}^{\prime }\Vert cos\theta \\ \therefore {\rho }_{X,Y}=\frac{\Vert {\mathbf{x}}^{\prime }\Vert \Vert {\mathbf{y}}^{\prime }\Vert cos\theta }{\Vert {\mathbf{x}}^{\prime }\Vert \Vert {\mathbf{y}}^{\prime }\Vert }=cos\theta \\ \therefore -1\le {\rho }_{X,Y}\le 1. \end{gathered}$$
何时相等？
$\rho =1：$${\mathbf{y}}^{\prime }$与${\mathbf{x}}^{\prime }$共线且同向，即$y_i-\overline{y}=c(x_i-\overline{x})且c>0$。
$\rho =-1：$共线但反向，即同上且$c<0$

2.3 几何理解

• 可以把相关系数理解为 两个向量夹角的余弦值。
• 如果$\rho =1$,方向完全一致（正相关）；
• 如果$\rho =-1$,方向完全相反（负相关）；
• 如果$\rho =0$,方向正交（无关）。