BERT vs BART vs T5：预训练语言模型核心技术详解

自然语言处理（NLP）领域的变革性突破始于2018年BERT的横空出世，随后BART和T5的诞生进一步推动了预训练语言模型的发展。这三种模型代表了不同的架构思想和应用范式，本文将深入解析其核心原理、技术差异及实践应用。

一、模型背景与技术原理

1. BERT：双向理解的开创者

BERT（Bidirectional Encoder Representations from Transformers）由Google于2018年提出，仅使用Transformer编码器结构，通过双向注意力机制捕捉上下文信息。其核心创新在于两项预训练任务：

• 掩码语言建模（MLM）：随机遮盖15%的单词（其中80%替换为[MASK]，10%替换为随机词，10%保持不变），要求模型预测原始单词。
• 下一句预测（NSP）：判断两个句子是否连续出现，提升句子关系理解能力。

BERT的位置编码采用可学习的绝对位置嵌入，最大长度限制为512个token，这成为其处理长文本的主要瓶颈。其在GLUE排行榜的11项N