黑龙江省建设集团有限公司网站搜索引擎分析论文
一、大模型模型发展路线退
二、DeepSeek V2-V3/R1技术原理
DeepSeek V2、V3 和 R1 模型架构优化要点：
1、DeepSeek V2
- 混合专家架构（DeepSeekMoE）：采用细粒度专家划分与共享专家机制，总参数规模达236B但仅激活21B参数，降低计算冗余34。
- 多头潜在注意力（MLA）：通过低秩压缩优化Key-Value矩阵计算，结合旋转位置编码（RoPE），减少推理显存占用14。
- 训练数据扩展：预训练阶段使用8万亿token数据，通过平衡不同领域的数据采样提升模型泛化能力3。
2、DeepSeek V3
- 参数规模与效率平衡：总参数扩展至671B，结合动态稀疏激活机制，仅激活37B参数，实现更高性能与更低推理成本24。
- 动态专家选择优化：基于输入内容自适应分配计算资源，增强对复杂任务（如数学推理、代码生成）的适应性15。
- 多令牌预测（MTP）：在训练阶段同时预测多个未来token，提升模型对上下文逻辑关系的捕捉效率45。
3、DeepSeek R1
- 检索增强生成（RAG）架构：采用双模块设计（检索模块+生成模块），结合外部知识库提升生成内容的准确性与实时性15。
- 强化学习策略：通过GRPO框架和人类反馈强化学习（RLHF），优化模型对齐能力与安全性25。
- 轻量化推理优化：结合DeepSeek-V3的稀疏激活特性，在AIME 2024等测试中实现接近GPT-4的性能但成本更低12。
演进关系：
- V2到V3的核心升级在于参数扩展（236B→671B）、动态专家选择优化以及MTP训练目标的引入24；
- R1基于V3的基础架构，强化检索增强生成与轻量化推理能力，聚焦垂直领域的高效应用
三、DeepSeek效应
四、未来展望
视频链接：https://www.bilibili.com/video/BV1TzNVepEgY/?spm_id_from=333.337.search-card.all.click&vd_source=8066b0fe558a3d040eb762ed70ba335a