【北京大学】DeepSeek内部研讨系列：DeepSeek原理和落地应用

DeepSeek 原理与落地应用研讨总结

一、模型概述

• 模型版本
  • DeepSeek-V2（生成模型）
  • DeepSeek-V3（生成模型）
  • DeepSeek-R1（推理模型）
• 性能特点
  • R1 版本数学推理表现突出
  • 参数规模从 1.5B 到 671B 不等
  • 性能接近甚至超越 OpenAI 的 o1 模型

二、DeepSeek R1 优势

• 开源开放：全量开源训练代码、数据清洗工具及微调框架，推动社区协同创新。
• 低成本：训练成本仅 $557w，推理成本降低 83%，打破高价壁垒。
• 国产化：将国产模型与美国的代际差距从 3-5 年缩短至 3-5 个月，突破“卡脖子”技术瓶颈。

三、模型原理

• 基础架构
  • 混合专家模型（MoE）：通过动态选择最适合输入数据的专家模块进行处理，提升推理能力和效率。
  • 多头潜在注意力机制（MLA）：通过低秩压缩减少 Key-Value 缓存，显著提升推理效率。
  • 强化学习驱动（RL）：大规模应用强化学习，将传统的 PPO 替换为 GRPO 训练算法，显著提升推理能力。
• 工作原理
  • 概率预测 + 文字接龙：基于上下文预测下一个 token，重复直到形成完整句子。
  • 预训练 + 微调 + 强化学习：模型训练过程包括预训练、监督微调和人类反馈强化学习。

四、落地应用

• 推理密集型任务
  • 编程任务中的代码生成、算法设计
  • 数学问题求解、科学推理和逻辑分析
• 教育与知识应用
  • 解决教育领域的问题，支持知识理解与解答
  • 科研任务的实验设计、数据分析和论文撰写
• 文档分析与长上下文理解
  • 处理需要深入文档分析和理解长上下文的任务
• 开放领域问答与写作
  • 内容生成、问题回答以及创造性写作

五、提示词技巧

• 真诚 + 直接：明确任务和目标，让模型快速理解需求。
• 通用公式：我要（做），要给用，希望达到效果，但担心问题。
• 说人话：避免回答过于专业，让模型用更通俗的语言解释。
• 反向 PUA：激发模型的批判性思维，让其更深入地分析问题。
• 善于模仿：给定文章或语气示例，让模型模仿写作风格。
• 擅长锐评：利用模型的情商和语气控制能力，进行犀利点评。
• 激发深度思考：在提示词结尾加入批判性思考要求，让模型进行自我复盘。

六、教育与学术赋能

• 教学设计：根据课程相关信息设计课程大纲草案。
• 教学活动：设计变式题、问题支架、课后作业等。
• 作业批改：辅助老师批改大量作业，提供答案解析和解题思路。
• 个性化教案：根据分层教学模式设计原则，生成不同难度的习题组。
• 医学专业病理诊断：模拟临床思维训练，生成可能疾病和检查建议。
• 论文全流程辅助：从选题到润色查重，全流程辅助论文撰写。
• 学术研究：文献速读、参考文献查找、学术翻译、研究假设设计等。

七、知识付费与作业辅导

• 知识付费：课程大纲设计、直播脚本撰写、社群运营话术等。
• 作业辅导：知识点锚定、分步教学引导、互动练习设计等。

---