Batch Norm和Layer Norm
Batch Normalization（BN）和Layer Normalization（LN）是深度学习中两种核心的归一化技术，它们的核心区别在于归一化的维度和适用场景。以下是两者的对比分析：
一、核心区别
-
归一化维度
• BN：在批次（Batch）维度上对每个特征通道进行归一化。例如，对于图像数据（形状为[B, C, H, W]），BN会计算每个通道在所有样本的B×H×W维度上的均值和方差。
• LN：在单个样本的所有特征维度上归一化。例如，对NLP中的词向量（形状为[B, T, D]），LN会计算每个样本（B×T）的D维特征的均值和方差。
直观理解：BN是“竖切”（跨样本同特征归一化），LN是“横切”（单样本所有特征归一化）。 -
统计量依赖
• BN：依赖批量统计量（Batch内均值和方差），训练时需维护全局统计量用于推理阶段。因此对Batch Size敏感，小批量可能导致统计量不稳定。
• LN：仅依赖单个样本统计量，与Batch Size无关，适用于动态或小批量场景（如RNN、Transformer）。 -
参数作用域
• BN：每个特征通道有独立的缩放参数（γ）和平移参数（β），参数数量与通道数（C）相关。
• LN：参数作用于归一化形状内的每个元素，例如在NLP中参数维度为[D]（词向量维度）。
二、优劣对比
| 特性 | BatchNorm | LayerNorm |
|---|---|---|
| 优势 | 加速收敛，降低对初始化的敏感度； 隐含正则化效果（通过引入噪声）。 | 与Batch Size无关，适合动态序列（如文本、语音）； 更适合小批量或单样本任务（如风格迁移）。 |
| 劣势 | 小批量时统计量不稳定； 训练与推理阶段行为不一致（需维护全局统计量）。 | 对特征间强相关性的数据效果有限（如CNN低层特征）； 计算开销略高于BN（需逐样本计算）。 |
三、适用场景
-
优先选择BN的场景
• 计算机视觉任务（如分类、检测）：图像数据分布稳定，且通常使用较大Batch Size。
• 高Batch Size场景：BN的统计量可靠性高，可加速模型收敛。
• 需隐含正则化的场景：例如数据量不足时，BN的噪声可缓解过拟合。 -
优先选择LN的场景
• 自然语言处理（如Transformer、RNN）：序列长度动态变化，LN对单个样本归一化更稳定。
• 小批量或动态Batch任务：如在线学习、实时推理。
• 风格迁移/生成任务：强调样本内部特征一致性（如保留图像纹理）。
四、典型应用示例
-
BN在ResNet中的作用：
通过归一化卷积层输出，允许使用更高学习率，并缓解梯度消失问题。 -
LN在Transformer中的应用：
对每个词向量的所有维度归一化，避免序列长度变化导致的统计偏移，提升模型鲁棒性。 -
替代方案：
当Batch Size极小时，可考虑Group Normalization（GN），将通道分组后归一化，平衡统计稳定性与灵活性。
总结
BN和LN的核心差异源于归一化维度的选择，BN适合稳定、大批量的CV任务，而LN更适合动态、小批量的序列建模。实际应用中需结合任务特点和数据分布灵活选择。