LLM 架构

LLM 分类 :

• 自编码模型 (encoder) : 代表模型 : BERT
• 自回归模型 (decoder) : 代表模型 : GPT
• 序列到序列模型 (encoder-decoder) : 代表模型 : T5

自编码模型 (AutoEncoder model , AE)

• 代表模型 : BERT (Bidirectional Encoder Representation from Transformers)
• 特点 : Encoder-Only
• 基本原理 : 在输入中随机 MASK 掉一部分单词，根据上下文预测这个词
• 应用场景 : 内容理解任务，如 : 自然语言理解 (NLU )中的分类任务 (情感分析、提取式问答等 )

自回归模型 (Autoregressive model , AR)

• 代表模型 : GPT
• 特点 : Decoder-Only
• 基本原理 : 从左往右学习的模型，只能利用上文或 下文的信息
• 应用场景 : 生成式任务，如 : 自然语言生成 (NLG )领域的任务 (摘要、翻译、抽象问答等 )

序列到序列模型 (Sequence to Sequence Model)

• 代表模型 : T5
• 特点 : 同时使用编码器和解码器
• 基本原理 : 将每个 task 视作序列到序列的转换/ 生成
• 应用场景 : 需要内容理解和生成的任务，如 : 机器翻译

发展图 :