GPT-2 大模型

GPT-2 :

• OpenAI 在 2019 年 2 月推出 GPT-2，并发表 Language Models are Unsupervised Multitask Learners
• 核心思想 : 多任务学习，仅用无监督预训练得到泛化能力更强的语言模型
• 参数 : 最大模型共计 48 层，参数量达 15 亿

模型特点 :

• 训练数据规模更大 , 800w 文档 40G
• 训练参数， batch_size 从 64 增加到 512， 上文窗口大小从 512 增加到 1024
• 优点 : 文本生成效果好，仅 zero-shot 学习 ; 无需额外训练
• 缺点 : 监督学习能力有待提升 , 有些任务表现不佳

数据集 :

• 数据量 : 足够大且覆盖面广，共 800 万篇文章，约 40G
• 来源 : Reddit 高赞的文章

模型架构

GPT-2 改动 :

• Self-Attention 层 和 Feed Forward 层前 , 放 LN (Layer Normalization，层归一化) 层
• 最后一层放 LN 层
• 输入序列的最大长度扩充到 1024

训练核心思想

GPT-2 :

• 目的 : 用无监督的预训练模型 , 做有监督的任务
• 观念 : zero-shot (零样本学习) , 无需标注数据 , 模型训练