【知识杂记】方差、标准差、均方误差、均方根误差与平均绝对误差，概念、计算公式、物理意义

统计学中的误差衡量指标：方差、标准差、均方误差、均方根误差与平均绝对误差

方差、标准差：与平均值比较

均方误差（MSE）、均方根误差（RMSE）以及平均绝对误差（MAE）：与真实值比较

1. 方差（Variance）与标准差（Standard Deviation）

方差和标准差是用来衡量数据集离散程度的两个基本统计量，它们描述了数据点围绕平均值（或期望值）的散布情况。

• 方差（Variance）:
  方差反映了每个数据点与平均值距离的平方的平均值。它的公式如下：
  $${\sigma }^2=\frac{\sum (x_i-\mu {)}^2}{n}$$
  其中，$x_i$ 是数据集中的每个数据点，$\mu$ 是数据集的平均值，而 $n$ 是数据点的总数。方差的单位是原始数据单位的平方。

• 标准差（Standard Deviation）:
  标准差是方差的平方根，它将离散程度的度量单位还原为与原始数据相同的单位，因此更具可解释性。
  $$\sigma =\sqrt{\frac{\sum (x_i-\mu {)}^2}{n}}=\sqrt{{\sigma }^2}$$
  在机器学习中，我们常用方差来衡量模型预测的稳定性。例如，如果一个模型在不同数据集上的预测结果方差很小，说明其预测结果比较稳定。

2. 均方误差（Mean Square Error, MSE）

均方误差是评估回归模型性能最常用的指标之一。它衡量的是模型预测值与真实值之间差异的平方的平均值。

• 公式:
  $$MSE=\frac{\sum (X_{pred}-X_{real}{)}^2}{n}$$
  其中，$X_{pred}$ 是模型的预测值，$X_{real}$ 是真实值，$n$ 是样本总数。

• 特点:

  • 惩罚大误差: 由于误差被平方，MSE 对较大的误差（离群点）有更强的惩罚作用。这意味着如果你的模型犯了一个很大的错误，MSE 会显著增加。
  • 非线性度量: MSE的单位是原始数据单位的平方，因此不如原始单位那么直观。
  • 可微性: 它是可微的，这使得它在许多优化算法（如梯度下降）中作为损失函数非常有效。

3. 均方根误差（Root Mean Square Error, RMSE）

均方根误差是均方误差的平方根。它的引入主要是为了解决MSE单位不一致的问题，使误差的量纲与原始数据保持一致，从而更易于理解和解释。

• 公式:
  $$RMSE=\sqrt{MSE}=\sqrt{\frac{\sum (X_{pred}-X_{real}{)}^2}{n}}$$

• 特点:

  • 单位一致: RMSE的单位与目标变量的单位相同，因此更容易进行直观比较。
  • 保留MSE特性: 它依然保留了MSE对大误差的惩罚特性。因此，RMSE对模型中的异常点（outliers）非常敏感。如果数据集中存在一些极端的预测偏差，RMSE会非常大。
  • 物理意义: 常常被类比为物理学中的“$L_2$ 范数”，因为它基于欧几里得距离。

4. 平均绝对误差（Mean Absolute Error, MAE）

平均绝对误差是另一种重要的回归模型性能指标，它衡量的是模型预测值与真实值之间绝对误差的平均值。

• 公式:
  $$MAE=\frac{\sum |X_{pred}-X_{real}|}{n}$$

• 特点:

  • 鲁棒性（Robust）: MAE对异常值（outliers）不那么敏感。因为它使用的是绝对值而不是平方，所以大误差不会像在MSE或RMSE中那样被显著放大。这使得它在数据存在较多离群点时是一个更“稳健”的指标。
  • 单位一致: MAE的单位也与目标变量的单位相同，易于理解。
  • 不可微性: 在误差为零的点处，MAE的函数不是严格可微的，这在某些优化算法中可能会带来挑战。它通常被类比为“$L_1$ 范数”。

---

---

总结与比较

缩写/符号	中文名称	计算公式	简单原理	物理意义	优点	缺点
$sigm{a}^2$	方差 (Variance)	$$\frac{\sum (x_i-\mu {)}^2}{n}$$	计算每个数据点与均值差异的平方的平均值。	衡量数据集的离散程度或数据的波动性。	理论基础扎实，广泛用于统计学中；可用于衡量模型预测的稳定性。	单位是原始数据单位的平方，不直观；对极端值敏感。
$sigma$	标准差 (Standard Deviation)	$$\sqrt{\frac{\sum (x_i-\mu {)}^2}{n}}$$	方差的平方根。	衡量数据集的离散程度，与原始数据单位一致。	单位与原始数据相同，更具可解释性；反映了数据点在均值周围的平均散布情况。	仍对极端值敏感。
MSE	均方误差 (Mean Square Error)	$$\frac{\sum (X_{pred}-X_{real}{)}^2}{n}$$	计算每个预测值与真实值差异的平方的平均值。	衡量预测值与真实值之间的平均偏离程度。	可微，常作为损失函数用于模型优化；对大误差有强惩罚作用。	单位与原始数据单位不一致；对异常值非常敏感。
RMSE	均方根误差 (Root Mean Square Error)	$$\sqrt{\frac{\sum (X_{pred}-X_{real}{)}^2}{n}}$$	均方误差的平方根。	衡量预测值与真实值之间的平均偏离程度，单位与原始数据相同。	单位与原始数据相同，直观易懂；保留了对大误差的惩罚特性。	依然对异常值非常敏感，受其影响大。
MAE	平均绝对误差 (Mean Absolute Error)	这里放公式会error，具体公式表格下方	计算每个预测值与真实值差异的绝对值的平均值。	衡量预测值与真实值之间的平均偏离程度，与原始数据单位相同。	对异常值具有鲁棒性（不敏感）；单位与原始数据相同，易于解释。	在零点处不可微，对优化带来挑战；无法有效区分不同程度的误差。

$$\frac{\sum |X_{pred}-X_{real}|}{n}$$