大模型面试题：简述GPT和BERT的区别？

总的来说，GPT和BERT是自然语言处理领域两个里程碑式的模型，它们最根本的区别在于其预训练目标和架构所导致的能力倾向不同。

我们可以从以下几个关键维度进行对比：

---

1. 核心架构：自回归 vs. 自编码

• GPT (Generative Pre-trained Transformer):

  • 架构: 采用 Transformer的Decoder部分。
  • 核心机制: 自回归模型。它的注意力机制是 Masked Self-Attention。在生成每一个新词时，它只能看到当前词之前的所有词（左侧上下文），而无法看到之后的词。这就像我们人类从左到右阅读或写作一样。
  • 比喻: 一个 “单向思考”的文本生成器。

• BERT (Bidirectional Encoder Representations from