大模型学习计划（按周规划）

前言

本学习计划基于扎实的数学基础（高数、线性代数、概率论与数理统计），按 “基础铺垫→核心技术→实战落地→进阶突破” 四阶段推进，共 20 周，聚焦 “原理 + 代码 + 实战” 三位一体，最终实现大模型技术的深度掌握与行业落地能力。

核心学习框架

阶段	周期	核心目标	关键技术模块
第一阶段	1-4 周	搭建认知与工具底座	Transformer 原理、PyTorch、Hugging Face 生态
第二阶段	5-10 周	吃透训练与微调逻辑	预训练、全参数微调、PEFT（LoRA）、训练优化、评估指标
第三阶段	11-16 周	实战落地与场景应用	模型部署、RAG、Agent、行业适配、多模态
第四阶段	17-20 周	进阶突破与前沿探索	分布式训练、RLHF/MoE/ 长上下文、可解释性与安全性

分阶段详细学习内容

第一阶段：基础铺垫（1-4 周）—— 构建技术认知与工具能力

第 1 周：大模型基础认知与工具入门（每日 4-5 小时）

• 核心目标：建立大模型全局认知，掌握 Python+PyTorch 核心操作

• 每日任务：

• • Day1-2：学习大模型技术演进（RNN→LSTM→Transformer）

• • Day3-4：精读《The Illustrated Transformer》，用 NumPy 实现简单词嵌入

• • Day5-6：配置开发环境，完成 PyTorch 张量运算、自动求导实战

• 难点：词嵌入与线性代数的关联映射
• 推荐资源：Hugging Face 入门文档、B 站 PyTorch 零基础教程

第 2 周：Transformer 核心原理（上）—— Self-Attention 机制（每日 4.5 小时）

• 核心目标：手动推导 Attention 公式，实现简化版 Self-Attention

• 每日任务：

• • Day1-2：精读《Attention Is All You Need》3.2 节，理解缩放点积的数学意义

• • Day3-4：手动推导 Self-Attention 完整公式，用 NumPy 实现分步计算

• • Day5-6：用 PyTorch 复现简化版 Self-Attention，验证结果一致性

• • Day7：输出带注释的代码、注意力权重可视化热力图

• 难点：缩放点积的方差归一化逻辑

• 推荐资源：李沐《动手学深度学习》、LLMs-from-scratch 项目

第 3 周：Transformer 核心原理（下）—— 多头注意力与编码器（每日 4.5 小时）

• 核心目标：理解多头注意力与位置编码，实现 TransformerEncoder 层

• 每日任务：

• • Day1-2：实现 2 头注意力机制，对比单头 / 多头输出差异

• • Day3-4：推导位置编码三角函数公式，可视化位置向量

• • Day5-6：集成多头注意力、位置编码、层归一化，实现 Encoder 层

• • Day7：输出 Encoder 层代码、结构流程图

• 难点：残差连接的梯度传递逻辑

• 推荐资源：transformers-from-scratch 项目、B 站 Transformer 结构拆解视频

第 4 周：必备工具与环境深化（每日 4 小时）

• 核心目标：熟练使用 Hugging Face 生态，完成首个文本分类 demo

• 每日任务：

• • Day1-2：用 Hugging Face pipeline 实现快速文本分类

• • Day3-4：学习 Tokenizer 编码逻辑，用 datasets 库处理情感分析数据集

• • Day5-6：用 Trainer API 配置基础微调，完成模型训练

• • Day7：输出完整 demo 代码、训练日志（loss / 准确率变化）

• 难点：Tokenizer 的 input_ids 与 attention_mask 逻辑

• 推荐资源：Hugging Face 微调教程、Colab 免费 GPU 指南

第二阶段：核心技术深入（5-10 周）—— 掌握训练与微调核心逻辑

第 5 周：预训练技术基础（每日 4.5 小时）

• 核心目标：理解 MLM/NSP 任务，处理自定义预训练数据

• 每日任务：

• • Day1-2：学习 MLM/NSP 任务原理，结合概率论理解掩码采样逻辑

• • Day3-4：精读 BERT 论文 3.1-3.2 节，标注掩码策略细节

• • Day5-6：收集中文文本，实现 MLM 数据预处理函数

• • Day7：输出掩码数据可视化样本、数据集说明文档

• 难点：MLM 的 15% 掩码三层策略（80%[MASK]/10% 随机 / 10% 保留）

• 推荐资源：BERT 论文官方解读、datasets 库数据处理教程

第 6 周：微调技术与 Prompt Engineering（每日 4 小时）

• 核心目标：掌握全参数微调流程，设计高效 Prompt

• 每日任务：

• • Day1-2：用 Trainer API 配置全参数微调，设置学习率调度器与梯度裁剪

• • Day3-4：学习 Prompt 设计原则，针对情感分析设计 3 组 Prompt

• • Day5-6：对比微调模型与原生模型的 Prompt 效果

• • Day7：输出微调实验报告（不同参数 / Prompt 效果对比）

• 难点：微调学习率选择（2e-5~5e-5）

• 推荐资源：DeepLearning.AI 提示词工程课程、OpenAI Prompt 指南

第 7 周：高效微调技术（PEFT）—— LoRA/QLoRA（每日 4.5 小时）

• 核心目标：理解低秩分解原理，实现 LoRA 微调

• 每日任务：

• • Day1-2：精读 LoRA 论文，推导低秩矩阵分解逻辑（ΔW=BA）

• • Day3-4：学习 PEFT 库核心 API，配置 LoraConfig

• • Day5-6：用 LoRA 微调 LLaMA-7B，对比全参数微调的显存 / 速度

• • Day7：输出 LoRA 微调代码、性能对比报告

• 难点：target_modules 选择（注意力层权重矩阵）

• 推荐资源：PEFT 库官方文档、QLoRA 论文

第 8 周：大模型训练优化技术（每日 4.5 小时）

• 核心目标：掌握混合精度训练、梯度累积，推导损失函数

• 每日任务：

• • Day1-2：启用 PyTorch 混合精度训练，对比显存占用差异

• • Day3-4：实现梯度累积（accumulation_steps=4），测试训练稳定性

• • Day5-6：手动推导交叉熵损失函数，实现自定义损失函数

• • Day7：输出优化后训练代码、日志分析报告

• 难点：混合精度训练的梯度缩放（GradScaler）逻辑

• 推荐资源：PyTorch 混合精度文档、《深度学习》（花书）损失函数章节

第 9 周：大模型评估指标（每日 4 小时）

• 核心目标：掌握分类 / 生成任务指标，理解困惑度的概率意义

• 每日任务：

• • Day1-2：推导困惑度公式（exp (交叉熵损失)），实现计算函数

• • Day3-4：用 evaluate 库计算分类任务 F1 分数，生成混淆矩阵

• • Day5-6：学习 BLEU/ROUGE 指标，计算文本摘要任务得分

• • Day7：输出通用指标计算函数、评估报告模板

• 难点：困惑度与交叉熵的指数关联

• 推荐资源：evaluate 库文档、《大模型评估实战》博客

第 10 周：阶段复盘与项目整合（每日 5 小时）

• 核心目标：复盘知识，完成 “预训练 - 微调 - 评估” 全流程项目

• 每日任务：

• • Day1-2：绘制技术图谱，补漏 LoRA / 混合精度训练细节

• • Day3-4：确定项目主题（如中文新闻分类），收集 10 万条数据集

• • Day5-6：实现数据预处理→LoRA 微调→混合精度训练→多指标评估

• • Day7：输出完整项目源码、3000 字技术总结文档、可视化图表

• 难点：项目流程的一致性（数据格式→模型输入→评估指标）

• 推荐资源：GitHub 大模型实战模板、技术文档写作指南

第三阶段：实战落地与场景应用（11-16 周）—— 聚焦工程化与行业落地

第 11 周：大模型部署基础（每日 4.5 小时）

• 核心目标：掌握模型量化、加速与 API 部署

• 每日任务：

• • Day1-2：用 bitsandbytes 实现 INT8 量化，对比模型大小 / 精度

• • Day3-4：将模型转换为 TensorRT 引擎，测试推理速度

• • Day5-6：用 FastAPI 搭建模型服务，设计 /predict 接口

• • Day7：输出量化对比报告、API 服务源码、部署文档

• 难点：量化精度损失控制（准确率下降≤3%）

• 推荐资源：NVIDIA TensorRT 文档、FastAPI 实战教程

第 12 周：RAG 技术（检索增强生成）（每日 5 小时）

• 核心目标：掌握 RAG 全流程，解决大模型 “幻觉” 问题

• 每日任务：

• • Day1-2：学习 RAG 架构，理解向量相似度计算的数学原理

• • Day3-4：构建行业文档知识库，用 Milvus 存储 Sentence-BERT 向量

• • Day5-6：实现检索器（Top5 相关段落）+ 生成器（上下文拼接 Prompt）

• • Day7：输出 RAG 问答系统源码、效果对比报告

• 难点：检索准确性优化（微调 Sentence-BERT）

• 推荐资源：Milvus 文档、Sentence-BERT 教程

第 13 周：Agent 技术基础（每日 4.5 小时）

• 核心目标：掌握 Agent 核心组件，实现工具调用型 Agent

• 每日任务：

• • Day1-2：学习 LangChain 框架，理解 Chain/Tool/Agent/Memory 联动

• • Day3-4：封装数学计算工具，集成 SerpAPI 搜索引擎工具

• • Day5-6：搭建数学计算 Agent，配置 ConversationBufferMemory

• • Day7：输出 Agent 源码、工具封装模板、演示视频

• 难点：Agent 决策的工具选择逻辑

• 推荐资源：LangChain 官方文档、Agent 技术综述论文

第 14 周：行业场景实战（每日 5 小时）—— 以金融舆情分析为例

• 核心目标：适配垂直行业，实现落地 demo

• 每日任务：

• • Day1-2：梳理金融舆情需求，收集 1 万条标注数据集

• • Day3-4：进行领域自适应预训练 + 情感分类 / 事件提取双任务微调

• • Day5-6：集成 RAG（金融知识库）+Agent（股票行情工具）

• • Day7：输出前端 + 后端 demo、行业数据处理指南、适配报告

• 难点：金融术语的分词与语义理解

• 推荐资源：Tushare API 文档、行业大模型微调案例

第 15 周：多模态大模型入门（每日 4.5 小时）

• 核心目标：理解图文对齐逻辑，实现基础多模态应用

• 每日任务：

• • Day1-2：精读 CLIP 论文，学习对比学习原理与损失函数

• • Day3-4：用 CLIP 实现 “文本检索图像” 功能

• • Day5-6：用 BLIP 模型实现图像描述生成

• • Day7：输出多模态工具源码、原理笔记、演示视频

• 难点：图文对齐的精度优化

• 推荐资源：CLIP/BLIP 论文、Hugging Face 多模态库

第 16 周：实战项目深化（每日 5 小时）—— 智能教育助手

• 核心目标：整合 RAG/Agent/ 多模态，构建复杂行业应用

• 每日任务：

• • Day1-2：设计系统架构（多模态→RAG→Agent→生成）

• • Day3-4：优化 OCR 公式识别，构建教材知识点知识库

• • Day5-6：开发作业批改 / 学习规划工具，配置 Agent 决策逻辑

• • Day7：输出完整源码、系统架构图、用户手册、测试报告

• 难点：复杂题目理解与解析准确性

• 推荐资源：EasyOCR 文档、Mathpix API、教育大模型案例

第四阶段：进阶突破与前沿探索（17-20 周）—— 跟踪前沿与创新

第 17 周：大模型训练框架深入（每日 4.5 小时）

• 核心目标：掌握分布式训练与大规模框架

• 每日任务：

• • Day1-2：学习数据 / 模型 / 张量并行原理，推导梯度聚合逻辑

• • Day3-4：用 DeepSpeed ZeRO-Offload 训练 LLaMA-7B，对比显存

• • Day5-6：配置 Megatron-LM 张量并行，观察多 GPU 通信

• • Day7：输出分布式训练笔记、框架配置教程、性能对比报告

• 难点：张量并行的层内拆分与跨 GPU 通信

• 推荐资源：DeepSpeed 教程、Megatron-LM GitHub 文档

第 18 周：前沿技术方向探索（每日 5 小时）—— RLHF/MoE/ 长上下文

• 核心目标：深入前沿方向，理解创新点

• 每日任务：

• • Day1-2：精读 RLHF 论文，拆解 SFT→RM→PPO 流程与数学逻辑

• • Day3-4：学习 MoE 架构原理，加载 T5-MoE 测试推理效果

• • Day5-6：复现简化版 FlashAttention，对比长序列（n=4096）性能

• • Day7：输出 5000 字调研报告、核心模块代码

• 难点：RLHF 的 PPO 算法收敛性控制

• 推荐资源：RLHF 论文、MoE 论文、FlashAttention 官方实现

第 19 周：大模型可解释性与安全性（每日 4.5 小时）

• 核心目标：掌握可解释方法与安全防御策略

• 每日任务：

• • Day1-2：用 Captum 库实现 SHAP 特征归因，可视化 Token 贡献值

• • Day3-4：设计测试用例，识别幻觉 / 偏见 / 数据泄露风险

• • Day5-6：实现幻觉检测与输入过滤模块

• • Day7：输出可解释性工具代码、安全防御模块、测试报告

• 难点：特征归因结果的业务场景验证

• 推荐资源：Captum 库文档、《大模型安全与对齐技术综述》

第 20 周：总结与未来规划（每日 5 小时）

• 核心目标：梳理知识体系，明确长期方向

• 每日任务：

• • Day1-2：绘制大模型知识全景图，补漏薄弱点

• • Day3-4：整理个人代码库（GitHub 托管），撰写 8000 字技术总结

• • Day5-6：跟踪 NeurIPS/ICML 最新论文，选择 1-2 个深入方向

• • Day7：输出知识全景图、代码库链接、1 年长期学习规划表

• 难点：长期方向与自身基础的匹配性

• 推荐资源：Google Scholar 学术趋势、LinkedIn 岗位需求分析

必备学习资源汇总

1. 论文类

• 基础原理：《Attention Is All You Need》《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》

• 核心技术：《LoRA: Low-Rank Adaptation of Large Language Models》《QLoRA: Efficient Finetuning of Quantized LLMs》

• 前沿方向：《Training Language Models to Follow Instructions with Human Feedback》（RLHF）、《Outrageously Large Neural Networks》（MoE）、《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》

2. 工具与框架类

• 基础工具：Python3.9+、PyTorch、Jupyter Notebook、Git

• 核心框架：Hugging Face Transformers/Datasets/PEFT/Trainer、LangChain

• 部署工具：bitsandbytes（量化）、TensorRT（加速）、FastAPI（API）

• 数据库：Milvus（向量数据库）

• 可视化：Matplotlib、Seaborn、Captum（可解释性）

3. 数据集类

• 通用数据集：情感分析（chinese_sentiment_dataset）、文本摘要（LCSTS）

• 行业数据集：金融舆情（东方财富网新闻）、教育（教材知识点 + 习题集）

• 多模态数据集：COCO（图文对）、Flickr30k（图像描述）

4. 学习平台类

• 视频教程：B 站李沐《动手学深度学习》、Andrej Karpathy 大模型讲座

• 文档教程：Hugging Face 官方指南、LangChain 文档、PyTorch 文档

• 实战平台：Colab（免费 GPU）、Kaggle（数据集 + 竞赛）

关键输出成果清单

阶段	核心输出
第一阶段	技术演进思维导图、Self-Attention/Encoder 层代码、文本分类 demo
第二阶段	LoRA 微调代码、训练优化报告、评估指标工具、新闻分类全流程项目
第三阶段	量化部署报告、RAG 问答系统、Agent 工具、金融舆情 demo、智能教育助手
第四阶段