方差、协方差和协方差矩阵

---

许多机器学习算法都与方差、协方差及协方差矩阵密切相关，典型代表包括主成分分析（PCA）、线性判别分析（LDA）以及多元高斯分布。这些算法在建模数据分布、降维、特征提取与分类判别等任务中，均依赖对数据方差结构和变量间相关性的刻画与利用。

一、方差

1.1、公式结构解析：

公式如下：

$$\text{Var}(x)=\frac{1}{m}\sum _{i=1}^m(x_i-\mu {)}^2$$

其中：

方差公式关键概念与符号说明表

对应符号/公式	概念	说明
$x_i$	样本点	第 $i$ 个样本的特征值，也称为“第 $i$ 个样本值”或“观测值”
$m$	样本总数	样本的数量，共有 $m$ 个样本
$\mu =\frac{1}{m}{\sum }_{i=1}^m{x}_i$	样本均值	所有样本值的平均数，表示数据中心位置
$x_i-\mu$	偏差	第 $i$ 个样本值与均值之间的差异
$(x_i-\mu {)}^2$	平方差	偏差的平方，用于消除正负号影响，衡量个体波动
${\sum }_{i=1}^m(x_i-\mu {)}^2$	平方差总和	所有样本的平方差之和
$\text{Var}(x)=\frac{1}{m}{\sum }_{i=1}^m(x_i-\mu {)}^2$	平均平方差（方差）	对平方差求平均，衡量样本整体对均值的偏离程度

---

1.2、方差的本质

• 方差（Variance）用来衡量一组数据围绕其均值的离散程度。
• 如果每个点 $x_i$ 距离均值 $\mu$ 都很近，那方差就小；如果分布很分散，那方差就大。

你可以理解为：

方差是在回答一个问题：“这些数据点，整体上偏离中心（均值）有多远？”

---

1.3、方差的性质

• 方差永远是非负的（因为平方不会小于 0）；
• 方差越大，说明数据越不稳定、波动性大；
• 方差越小，说明数据越集中、稳定性强。

---

1.4、 示例：计算数据 $[1,2,3,4,5]$ 的方差

我们使用以下公式计算方差（整体方差）：

$$\text{Var}(x)=\frac{1}{m}\sum _{i=1}^m(x_i-\mu {)}^2$$

步骤分解：

步骤	操作说明	计算过程
①	确定样本值	样本为：$x=[1,2,3,4,5]$
②	计算平均值（均值）	$\mu =\frac{1+2+3+4+5}{5}=3$
③	计算每个样本值与均值的差值并平方	$(1-3{)}^2,(2-3{)}^2,(3-3{)}^2,(4-3{)}^2,(5-3{)}^2$
		$=4+1+0+1+4$
④	对所有平方差求和后取平均	$\frac{4+1+0+1+4}{5}=\frac{10}{5}=2$
✅	最终得到方差	$\boxed{\text{Var}(x)=2}$

这个例子说明了方差是如何量化数据的“离中心程度”的，越分散，方差越大；越集中，方差越小。

1.5、方差与标准差的关系

标准差（Standard Deviation）是方差的平方根：

$$\sigma =\sqrt{\text{Var}(x)}$$

这样可以让数值单位与原始数据一致，更便于解释。

1.6、去中心化与方差计算的关系

在不影响样本分布形状的前提下，将样本去中心化可简化方差计算。此时方差就等于“去中心化后每个样本值的平方平均数”。

原始方差公式：

$$\text{Var}(x)=\frac{1}{m}\sum _{i=1}^m(x_i-\mu {)}^2$$

• 这是经典的基于均值的方差计算方式；
• 其中 $\mu$ 是所有样本的平均值。

---

去中心化（Centering）：

去中心化就是将每个样本值减去均值，使其新的均值变为 0。

设：

$$x_i^{\prime }=x_i-\mu$$

将原始样本整体平移后，新的样本集为 {x1′,x2′,...,xm′}\{x'_1, x'_2, ..., x'_m\}{x1′​,x2′​,...,xm′​}，其均值变为 0。

---

简化后的方差公式：

由于 $(x_i-\mu {)}^2=(x_i^{\prime }{)}^2$，于是原始公式变为：

$$\text{Var}(x)=\frac{1}{m}\sum _{i=1}^m(x_i^{\prime }{)}^2=\frac{1}{m}\sum _{i=1}^m{x}_i^{\prime 2}$$

这就变成了你图中右边展示的形式：

$$\text{Var}(x)=\frac{1}{m}\sum _{i=1}^m{x}_i^2\text{（前提是 }{x}_i\text{ 已经去中心化）}$$

二、协方差

2.1、什么是协方差（Covariance）

协方差是衡量两个特征（变量）之间是否存在线性相关关系的指标。

我们设有 $m$ 个样本，每个样本有两个特征：特征 $a$ 和特征 $b$。它们的协方差记作：

$$\text{Cov}(a,b)=\frac{1}{m-1}\sum _{i=1}^m(a_i-{\mu }_a)(b_i-{\mu }_b)$$

其中：

符号	含义
$a_i,b_i$	第 $i$ 个样本的两个特征值
${\mu }_a,{\mu }_b$	特征 $a,b$ 的平均值
$m$	样本总数

---

协方差的计算步骤：

1. 计算每个特征的均值：

   • ${\mu }_a=\frac{1}{m}{\sum }_{i=1}^m{a}_i$
   • ${\mu }_b=\frac{1}{m}{\sum }_{i=1}^m{b}_i$

2. 每个样本计算离均差：

   • $a_i-{\mu }_a$、$b_i-{\mu }_b$

3. 将两者相乘并求和平均（除以 $m-1$）：

   • $\text{Cov}(a,b)=\frac{1}{m-1}{\sum }_{i=1}^m(a_i-{\mu }_a)(b_i-{\mu }_b)$

---

协方差的意义与几种情况

如图所示，协方差的符号可以反映特征间的关系：

情况	含义	图示特征
$\text{Cov}(a,b)>0$	特征 $a$ 与 $b$ 正相关，一个增大另一个也倾向增大	向右上分布
$\text{Cov}(a,b)<0$	特征 $a$ 与 $b$ 负相关，一个增大另一个倾向减小	向右下分布
$\text{Cov}(a,b)=0$	特征 $a$ 与 $b$ 无线性关系	无明显线性方向

---

总结一句话：

协方差衡量的是两个特征偏离各自均值后**“共同变化”的程度**，可以用来判断它们是否有线性关系，以及关系的方向。

---

2.2、协方差示例

这张图展示了样本特征 $a$ 与 $b$ 的均值位置（都为 3），并通过点的分布形态反映它们的正相关性。这种排列将导致协方差 Cov(a, b) > 0，说明两个特征“同步变化”。

1、二维特征下的协方差均值理解

我们在二维平面上设置了 5 个样本点：

$$(1,1),(2,2),(3,3),(4,4),(5,5)$$

其中每个样本都有两个特征：

• 特征 $a$：横轴（x轴）坐标
• 特征 $b$：纵轴（y轴）坐标

---

2、平均值计算：

• 特征 $a$ 的平均值：

  $${\mu }_a=\frac{1+2+3+4+5}{5}=3$$

• 特征 $b$ 的平均值：

  $${\mu }_b=\frac{1+2+3+4+5}{5}=3$$

所以图中红色虚线标示的交点 $(3,3)$ 即为两个特征的均值点。

---

3、 图示含义：

• 所有点都沿着对角线（即 $a=b$）分布，表示：

  • 每个样本的两个特征值相等（高度相关）；
  • 离均值 $(3,3)$ 越远的点，偏差越大。

• 因为 $a_i$ 与 $b_i$ 同时增大或减小 → 它们的乘积为正，最终协方差为正。

---

2.3、协方差的几种典型情况总结

协方差几种情况表

协方差表达	关系类型	图像特征	判断逻辑	含义说明
$\text{Cov}(a,b)>0$	正相关	数据点沿对角线（左下 → 右上）分布	$a_i>m{u}_a$ 时，$b_i>m{u}_b$；$a_i<m{u}_a$ 时，$b_i<m{u}_b$	两变量同向变化：a 增大时 b 也倾向增大，协方差为正
$\text{Cov}(a,b)<0$	负相关	数据点沿反对角线（左上 → 右下）分布	$a_i>m{u}_a$ 时，$b_i<m{u}_b$；$a_i<m{u}_a$ 时，$b_i>m{u}_b$	两变量反向变化：a 增大时 b 倾向减小，协方差为负
$\text{Cov}(a,b)=0$	不相关	数据点分布杂乱、无趋势	$(a_i-m{u}_a)(b_i-m{u}_b)$ 的平均值 ≈ 0	两变量无线性关系，不能从一个的变化推断另一个的变化方向

---

2.4、协方差去中心化

将数据进行去中心化，得到的协方差同样没有变化

三、协方差矩阵

3.1、协方差矩阵定义：

协方差矩阵用于表示多个特征（变量）之间的方差和协方差关系，是一个对称矩阵，通常记作：

$$\mathbf{C}=\left[\begin{array}{ccc}\text{Cov}(x,x)& \text{Cov}(x,y)& \text{Cov}(x,z)\\ \text{Cov}(y,x)& \text{Cov}(y,y)& \text{Cov}(y,z)\\ \text{Cov}(z,x)& \text{Cov}(z,y)& \text{Cov}(z,z)\end{array}\right]$$

---

构成结构解析：

类型	含义说明	示例
对角线元素	各变量的方差	如：$\text{Cov}(x,x)=\text{Var}(x)$
非对角元素	不同变量之间的协方差	如：$\text{Cov}(x,y),\text{Cov}(y,z)$
矩阵对称性	$\text{Cov}(x,y)=\text{Cov}(y,x)$	协方差矩阵是对称矩阵

---

性质总结：

• ✅ 对称矩阵：${\mathbf{C}}^T=\mathbf{C}$
• ✅ 实值、半正定：特征值非负
• ✅ 可用于主成分分析（PCA）、多元高斯建模、线性变换等

---

图示说明：

• 蓝色块：表示变量自身的方差（例如 $\text{Cov}(x,x)$）
• 紫色块：表示不同变量之间的协方差（例如 $\text{Cov}(x,y)$）

图中展示的是三维特征 $x,y,z$ 组成的协方差矩阵，共包含 $3$ 个方差 + $6$ 个协方差。

---

总结一句话：

协方差矩阵全面反映了变量之间的波动性与关联性结构，是数据分布结构、降维分析和多变量建模中的核心工具。

---

3.2、协方差矩阵的示例

协方差矩阵用于衡量多个特征之间的线性相关性，包括特征自身的方差与特征之间的协方差。以下是按特征数量递增的三个典型示例：

---

示例 1：两个特征的协方差矩阵（C1）

设特征为 $a$ 和 $b$，协方差矩阵为：

$${\mathbf{C}}_1=\left[\begin{array}{cc}\text{Cov}(a,a)& \text{Cov}(a,b)\\ \text{Cov}(b,a)& \text{Cov}(b,b)\end{array}\right]$$

• 对角线是方差：如 $\text{Cov}(a,a)=\text{Var}(a)$
• 非对角线是协方差：如 $\text{Cov}(a,b)$

---

示例 2：三个特征的协方差矩阵（C2）

设特征为 $x,y,z$，协方差矩阵为：

$${\mathbf{C}}_2=\left[\begin{array}{ccc}\text{Cov}(x,x)& \text{Cov}(x,y)& \text{Cov}(x,z)\\ \text{Cov}(y,x)& \text{Cov}(y,y)& \text{Cov}(y,z)\\ \text{Cov}(z,x)& \text{Cov}(z,y)& \text{Cov}(z,z)\end{array}\right]$$

---

示例 3：$n$ 个特征的协方差矩阵（C3）

设特征为 $x_1,x_2,...,x_n$，协方差矩阵为：

$${\mathbf{C}}_3=\left[\begin{array}{cccc}\text{Cov}(x_1,x_1)& \text{Cov}(x_1,x_2)& \cdots & \text{Cov}(x_1,x_n)\\ \text{Cov}(x_2,x_1)& \text{Cov}(x_2,x_2)& \cdots & \text{Cov}(x_2,x_n)\\ ⋮& ⋮& \ddots & ⋮\\ \text{Cov}(x_n,x_1)& \text{Cov}(x_n,x_2)& \cdots & \text{Cov}(x_n,x_n)\end{array}\right]$$

• 维度为 $n\times n$
• 矩阵是对称的：$\text{Cov}(x_i,x_j)=\text{Cov}(x_j,x_i)$

---

总结说明：

协方差矩阵是描述多维数据之间相互关系的基本工具。
它的结构为对称矩阵，对角线表示各维度的方差，非对角线表示两个特征之间的协方差。

3.3、协方差矩阵的矩阵计算法整理说明

步骤说明：

1. 数据组织成矩阵形式

   将样本数据保存为一个矩阵 $\mathbf{X}$，其中：

   • 每一列表示一个样本（共 $m$ 个）
   • 每一行表示一个特征（共 $n$ 个）

   即：

   $$\mathbf{X}=\left[\begin{array}{cccc}{x}_1^{(1)}& x_1^{(2)}& \cdots & x_1^{(m)}\\ x_2^{(1)}& x_2^{(2)}& \cdots & x_2^{(m)}\\ ⋮& ⋮& \ddots & ⋮\\ x_n^{(1)}& x_n^{(2)}& \cdots & x_n^{(m)}\end{array}\right]\in {\mathbb{R}}^{n\times m}$$

2. 去中心化（可选但常见）

   对每一行（每个特征）减去其均值，使数据均值为0。

3. 计算协方差矩阵

   协方差矩阵 $\mathbf{C}$ 可通过如下公式快速计算：

   $$\mathbf{C}=\frac{1}{m}\mathbf{X}{\mathbf{X}}^{\top }$$

   • ${\mathbf{X}}^{\top }$ 是矩阵 $\mathbf{X}$ 的转置；
   • 结果是一个 $n\times n$ 的对称矩阵；
   • 每个元素 $\text{Cov}(x_i,x_j)$ 表示第 $i$ 个与第 $j$ 个特征的协方差。

---

直观理解：

将样本矩阵按列为样本，行为特征的方式组织起来，通过矩阵乘法求内积，即可一次性计算所有特征之间的协方差关系。

---

总结一句话：

协方差矩阵可以通过去中心化后的数据矩阵 $\mathbf{X}$ 与其转置的乘积来高效计算，即：

$$\mathbf{C}=\frac{1}{m}\mathbf{X}{\mathbf{X}}^{\top }$$

3.4、示例图讲解：二维特征样本的协方差矩阵计算

下面是对你提供的这幅图的详细整理与讲解（包括数学含义和操作步骤）：

---

示例图讲解：二维特征样本的协方差矩阵计算

🔷 场景说明

我们有 $m$ 个样本，每个样本包含两个特征 $a$ 和 $b$。

🔷 步骤 1：构造样本矩阵 $X$

将每个样本的两个特征（a, b）按照列向量的方式排列成一个 $2\times m$ 的矩阵：

$$X=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_m\\ b_1& b_2& \cdots & b_m\end{array}\right]$$

🔷 步骤 2：构造转置矩阵 $X^T$

$$X^T=\left[\begin{array}{cc}{a}_1& b_1\\ a_2& b_2\\ ⋮& ⋮\\ a_m& b_m\end{array}\right]$$

🔷 步骤 3：计算协方差矩阵（矩阵乘法）

协方差矩阵的计算公式为：

$$C=\frac{1}{m}X{X}^T$$

执行矩阵乘法并展开后：

$$C=\frac{1}{m}\left[\begin{array}{cc}{\sum }_{i=1}^m{a}_i^2& {\sum }_{i=1}^m{a}_i{b}_i\\ {\sum }_{i=1}^m{a}_i{b}_i& {\sum }_{i=1}^m{b}_i^2\end{array}\right]$$

进一步写为协方差形式：

$$C=\left[\begin{array}{cc}\text{Cov}(a,a)& \text{Cov}(a,b)\\ \text{Cov}(b,a)& \text{Cov}(b,b)\end{array}\right]$$

🔷 结果说明

• 上述结果是一个 $2\times 2$ 的协方差矩阵，表示两个变量 $a$、$b$ 的方差和协方差；
• 它是对称矩阵，即 $\text{Cov}(a,b)=\text{Cov}(b,a)$；
• 这是计算协方差矩阵最经典、最基础的操作之一，常用于后续 PCA 等降维操作中。

四、方差、协方差、协方差矩阵

项目	数学公式	含义说明
方差	$\text{Var}(x)=\frac{1}{m}{\sum }_{i=1}^m(x_i-\mu {)}^2$	衡量单个变量 x 的波动性（离均值的偏离程度）
协方差	$\text{Cov}(a,b)=\frac{1}{m-1}{\sum }_{i=1}^m(a_i-{\mu }_a)(b_i-{\mu }_b)$	衡量两个变量 a 和 b 的线性相关性，值为正表示正相关，负为负相关
协方差矩阵	$\mathbf{C}=\left[\begin{array}{cc}\text{Cov}(a,a)& \text{Cov}(a,b)\\ \text{Cov}(b,a)& \text{Cov}(b,b)\end{array}\right]$	用于同时描述多个变量之间的相关性关系，是对称矩阵，常用于多维分析

• 方差 Var(x)：单变量情况，衡量一个维度的波动性。
• 协方差 Cov(a,b)：双变量情况，衡量两个维度是否成线性关系。
• 协方差矩阵：多变量情况，把所有特征对之间的协方差统一组织成矩阵形式，适用于高维数据分析（如 PCA）。

方差是协方差的特例；协方差刻画两个变量的线性关系；协方差矩阵则系统性表达多个变量之间的相关性结构。

参考

什么是方差、协方差和协方差矩阵