工程项目网站免费咨询律师的app
引言
在现代大型语言模型架构中，激活函数是贯穿神经网络各层的关键组件。它们通过为线性变换结果引入非线性，从而赋予模型表达复杂语言模式的能力。选择合适的激活函数，不仅影响训练的稳定性与收敛速度，还在推理阶段决定了计算效率与模型性能。本文将系统梳理常见激活函数的原理与特点，并探讨新兴方案在实际 LLM 中的应用。
激活函数概述
激活函数（Activation Function）是一种非线性映射，将神经元的加权输入及偏置进行转换后再传递给下一层。没有激活函数，无论网络有多少层，都将退化为线性模型，无法拟合复杂的自然语言规律。激活函数需满足可导性（以便反向传播）与计算效率（以利大规模模型训练与推理）等基本要求。
经典激活函数
Sigmoid 与 Tanh
- Sigmoid
将输入压缩到 (0, 1) 区间，适合二元分类输出；但梯度在极端值区域接近零，容易导致梯度消失。 - Tanh
将输入映射到 (–1, 1)，相较于 Sigmoid 中心对称，对特征归一化有帮助；但同样存在梯度消失问题。