【人工智能数学基础】如何理解方差与协方差？

一、方差：描述单个变量的离散程度

1.1 核心概念

方差衡量的是一个随机变量或数据集与其平均值的偏离程度。它描述了数据的"波动性"或"分散程度"。

1.2 数学定义

对于随机变量X，其方差定义为：
$$\text{Var}(X)=E[(X-E[X]{)}^2]$$
其中$E[X]$是$X$的期望值（均值）。

1.2 具体计算公式

样本方差：
$$s^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x}{)}^2$$

字母含义：

• ( n )：样本数量
• ( x_i )：第i个观测值
• ( \bar{x} )：样本均值
• ( s^2 )：样本方差

1.3 直观理解

• 方差大：数据点分散，波动剧烈
• 方差小：数据点集中，波动平缓

---

二、协方差：描述两个变量的协同变化

2.1 核心概念

协方差衡量的是两个随机变量变化的协同关系。它描述了两个变量是"同向变化"还是"反向变化"。

2.2 数学定义

对于随机变量X和Y，协方差定义为：
$$\text{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]$$

2.3 具体计算公式

样本协方差：
$$s_{xy}=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$$

2.4 协方差的意义

• 正值：X和Y倾向于同向变化（一个增加，另一个也增加）
• 负值：X和Y倾向于反向变化（一个增加，另一个减少）
• 零：X和Y没有线性关系

---

三、为什么可以说"第i个变量的方差"和"第i与第j个变量的协方差"？

3.1 数据表的视角

考虑一个典型的数据集：

样本	变量1 (身高)	变量2 (体重)	变量3 (年龄)	…	变量p
1	x₁₁	x₁₂	x₁₃	…	x₁ₚ
2	x₂₁	x₂₂	x₂₃	…	x₂ₚ
3	x₃₁	x₃₂	x₃₃	…	x₃ₚ
…	…	…	…	…	…
n	xₙ₁	xₙ₂	xₙ₃	…	xₙₚ

在这个数据表中：

• 行代表不同的观测样本
• 列代表不同的变量

3.2 “第i个变量的方差”

当我们说"第i个变量的方差"时：

• 我们固定列索引i
• 计算这一列所有数据的方差
• 公式：$\text{Var}(X_i)=\frac{1}{n-1}{\sum }_{k=1}^n(x_{ki}-{\bar{x}}_i{)}^2$
• 其中${\bar{x}}_i$是第i列（第i个变量）的均值

例子："第2个变量的方差"就是计算体重这一列数据的方差。

3.3 “第i个变量与第j个变量的协方差”

当我们说"第i个变量与第j个变量的协方差"时：

• 我们固定两个列索引i和j
• 计算这两列数据之间的协方差
• 公式：$\text{Cov}(X_i,X_j)=\frac{1}{n-1}{\sum }_{k=1}^n(x_{ki}-{\bar{x}}_i)(x_{kj}-{\bar{x}}_j)$

例子："第1个变量与第2个变量的协方差"就是计算身高和体重这两列数据的协方差。

---

四、协方差矩阵：将所有关系整合在一起

4.1 定义

协方差矩阵$\Sigma$是一个$p\times p$的对称矩阵，包含了所有变量之间的方差和协方差信息：

$$\Sigma =\left[\begin{array}{cccc}\text{Var}(X_1)& \text{Cov}(X_1,X_2)& \cdots & \text{Cov}(X_1,X_p)\\ \text{Cov}(X_2,X_1)& \text{Var}(X_2)& \cdots & \text{Cov}(X_2,X_p)\\ ⋮& ⋮& \ddots & ⋮\\ \text{Cov}(X_p,X_1)& \text{Cov}(X_p,X_2)& \cdots & \text{Var}(X_p)\end{array}\right]$$

4.2 重要性质

1. 对角线元素：就是各个变量的方差
   $${\Sigma }_{ii}=\text{Var}(X_i)$$
2. 非对角线元素：就是变量间的协方差
   $${\Sigma }_{ij}=\text{Cov}(X_i,X_j)(i\ne j)$$
3. 对称性：${\Sigma }_{ij}={\Sigma }_{ji}$

---

五、实际例子

假设我们有3个变量：身高(X₁)、体重(X₂)、年龄(X₃)，测量了100个人。

• “第1个变量的方差”：计算100个人的身高的方差
• “第2个变量的方差”：计算100个人的体重的方差
• “第1个与第2个变量的协方差”：计算身高和体重的协方差（预期为正，因为高的人通常更重）
• “第1个与第3个变量的协方差”：计算身高和年龄的协方差（可能接近零，因为成人身高基本稳定）

协方差矩阵：
$$\Sigma =\left[\begin{array}{ccc}\text{Var}(身高)& \text{Cov}(身高,体重)& \text{Cov}(身高,年龄)\\ \text{Cov}(体重,身高)& \text{Var}(体重)& \text{Cov}(体重,年龄)\\ \text{Cov}(年龄,身高)& \text{Cov}(年龄,体重)& \text{Var}(年龄)\end{array}\right]$$

---

总结

1. 方差描述单个变量的离散程度
2. 协方差描述两个变量的协同变化关系
3. "第i个变量"的表述源于我们将数据视为矩阵，其中列代表变量
4. 协方差矩阵系统性地组织了所有变量间的方差和协方差关系