归一化 vs 标准化：数据预处理终极指南

在数据预处理和机器学习中，归一化（Normalization） 和 标准化（Standardization） 是两种常用的特征缩放方法，用于消除数据量纲差异、统一数据尺度。尽管目标相似（提升模型性能），但二者的原理、适用场景和效果有显著区别。以下从多个维度对比分析：

1. 定义与核心目标

• 归一化（Normalization）
  核心目标是将数据缩放到一个固定的区间（通常是 [0,1] 或 [-1,1]），消除量纲影响的同时，使不同特征具有相同的数值范围。
  最常用的方法是最小-最大归一化（Min-Max Scaling），公式为：
  $$X_{\text{norm}}=\frac{X-X_{\text{min}}}{X_{\text{max}}-X_{\text{min}}}$$
  其中 $X_{\text{min}}$ 和 $X_{\text{max}}$ 是特征的最小值和最大值。

• 标准化（Standardization）
  核心目标是调整数据分布，使其符合标准正态分布（均值 $\mu =0$，标准差 $\sigma =1$），消除量纲影响的同时保留数据的原始分布形态。
  最常用的方法是Z-score标准化（Z-Score Scaling），公式为：
  $$X_{\text{std}}=\frac{X-\mu }{\sigma }$$
  其中 $\mu$ 是特征的均值，$\sigma$ 是特征的标准差。

2. 结果范围与分布

维度	归一化（Min-Max）	标准化（Z-score）
数值范围	固定区间（如 [0,1] 或自定义区间）	理论无界（实际中约99.7%的数据在 [-3,3]）
分布形态	保持原始数据的分布形状（仅线性缩放）	转换为标准正态分布（均值0，标准差1）

3. 对异常值的敏感性

• 归一化：对异常值非常敏感。
  由于 $X_{\text{max}}$ 和 $X_{\text{min}}$ 易受极端值影响（例如某特征存在一个极大异常值），会导致其他正常数据被压缩到极小范围（如接近0），破坏数据的有效性。

• 标准化：对异常值相对鲁棒。
  均值 $\mu$ 和标准差 $\sigma$ 会受异常值影响，但程度弱于归一化（例如极端值仅会略微偏移均值或增大标准差），因此更适合存在少量异常值的场景。

4. 适用场景

• 归一化适用场景：

  • 数据需要严格限制在固定区间（如图像像素值归一化到 [0,1]）。
  • 模型对特征尺度敏感，且数据无明显异常值（如神经网络、KNN算法）。
  • 特征分布范围明确（如评分数据通常在 [0,10] 之间）。

• 标准化适用场景：

  • 数据分布接近正态分布（或希望转换为正态分布）。
  • 模型依赖特征的统计特性（如线性回归、逻辑回归、SVM、PCA等）。
  • 存在异常值（或无法确定数据的最大/最小值，如动态更新的数据流）。

5. 总结对比表

维度	归一化（Min-Max）	标准化（Z-score）
核心目标	缩放到固定区间	转换为标准正态分布
公式	$(X-X_{\text{min}})/(X_{\text{max}}-X_{\text{min}})$	$(X-\mu )/\sigma$
数值范围	固定（如 [0,1]）	无界（约 [-3,3] 包含99.7%数据）
分布形态	保持原始分布	转换为标准正态分布
异常值敏感性	高	低
典型场景	图像处理、KNN、固定区间需求	正态分布数据、线性模型、PCA

关键结论

选择归一化还是标准化，需结合数据特点和模型需求：

• 若数据范围明确、无异常值且需要固定区间 → 归一化；
• 若数据分布复杂、存在异常值或模型依赖正态分布 → 标准化。