大模型day1 - 什么是GPT

什么是GPT

全称 Generative Pre-trained Transformer 是一种基于 Transformer 架构的大规模 预训练 语言模型，由OpenAI研发，但GPT仅仅只是借鉴了Transformer 中 Decoder 的部分，并且做了升级

Transformer 架构

Transformer架构 是一种用于处理序列数据（比如文本、语音）的深度学习模型，它的核心思想是“自我关注”（Self-Attention），可以理解为“聪明地抓重点”
Transformer的核心

• 并行处理所有词：同时看到整个句子，而不是逐个词处理。
• 自注意力机制：让模型自动判断句子中哪些词更重要，并动态调整它们之间的关系

Encoder-Decoder

• 只有Encoder的模型（如BERT）：适合理解任务（文本分类、实体识别），但不能生成文本。
• 只有Decoder的模型（如GPT）：擅长生成文本（写文章、聊天），但对输入的理解可能不如Encoder深入。
• Encoder-Decoder结合（如Transformer、T5）：两者优势兼顾，适合需要“先理解再生成”的任务。

预训练

简单来说就是提前进行训练，从大量无标注的数据中学习通用能力
预训练的特点

• 自监督学习：无需人工标注，模型通过“填空”“预测下一词”等任务从海量文本中自学。
• 大数据训练：用TB级文本（如书籍、网页）训练，覆盖多领域知识。
• 迁移学习：先学通用语言规律，再微调适配具体任务（如翻译、问答）。
• 超大模型：参数规模达百亿甚至万亿级（如GPT-3有1750亿参数），能力更强。
• 多任务通用：同一模型通过微调或提示（Prompt）完成不同任务（写文章、写代码、翻译等）。
• Few-shot学习：仅需少量示例即可适应新任务，无需大量标注数据。
• 高计算成本：训练耗资巨大（如GPT-3训练花费1200万美元），依赖高端GPU。

微调

让预训练模型（比如GPT、BERT）在少量特定任务数据上“再学习”，使它从“通才”变成“专才”。

• 微调只要少量的数据就可以获取不错的效果
• 微调成本较低，可以在单卡上运行