安徽省网站肥建设网站湖北望新建设有限公司网站
AIGCmagic社区知识星球是国内首个以AIGC全栈技术与商业变现为主线的学习交流平台，涉及AI绘画、AI视频、大模型、AI多模态、数字人以及全行业AIGC赋能等100+应用方向。星球内部包含海量学习资源、专业问答、前沿资讯、内推招聘、AI课程、AIGC模型、AIGC数据集和源码等干货。
截至目前，星球内已经累积了2000+AICG时代的前沿技术、干货资源以及学习资源；涵盖了600+AIGC行业商业变现的落地实操与精华报告；完整构建了以AI绘画、AI视频、大模型、AI多模态以及数字人为核心的AIGC时代五大技术方向架构，其中包含近500万字完整的AIGC学习资源与实践经验。
论文题目：《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》
发表时间：2024年5月
论文地址：https://arxiv.org/pdf/2405.04434v5
本文作者：魔方AI空间公众号主理人 猫先生
在2024年5月前后的时间，大语言模型（LLMs）的快速发展，展示了人工智能（AGI）的曙光。然而，随着参数量的增加，模型的智能提升带来了更大的计算资源需求和推理吞吐量的潜在下降，限制了LLMs的广泛应用。
本项目主要目标是解决LLMs在训练和推理过程中资源消耗大的问题，通过创新架构（包括多头潜在注意力（MLA）和DeepSeekMoE）实现经济高效的训练和高效的推理。
图1｜(a) 不同开源模型下多模态语言模型（MMLU）准确率与激活参数的关系。(b) DeepSeek 67B（密集型）和DeepSeek-V2的训练成本与推理效率。
方法概述
DeepSeek-V2，一种强大的MoE语言模型，通过创新的架构实现了经济和高效的训练和推理。
图2 | DeepSeek-V2架构示意图。MLA通过显著减少生成所需的KV缓存来确保高效推理，而DeepSeekMoE则通过稀疏架构以经济成本训练出强大的模型。
多头潜在注意力（MLA）
一种新的注意力机制，通过低秩键值联合压缩来显著减少推理时的键值缓存，从而提高推理效率。MLA的计算过程如下：
-
标准多头注意力（MHA）首先通过三个矩阵计算查询（q）、键（k）和值（v）：
-
然后，将q、k、v切片成多个头进行多头注意力计算：
-
最后，通过softmax函数计算权重并进行加权和：
-
MLA通过低秩联合压缩键值对：
图3 | 多头注意力（MHA）、分组查询注意力（GQA）、多查询注意力（MQA）和多头潜在注意力（MLA）的简化示意图。通过将键和值联合压缩成一个潜在向量，MLA在推理过程中显著减少了KV缓存
DeepSeekMoE
通过细粒度的专家分割和共享专家隔离来实现更高效的模型训练。DeepSeekMoE的基本思想是将专家分割成更细的粒度以提高专家的专业化，并通过隔离一些共享专家来缓解路由专家之间的知识冗余。具体计算过程如下：
-
对于每个token，计算其FFN输出：
-
通过设备限制路由机制来控制MoE相关的通信成本，确保每个token的专家分布在最多M个设备上。
-
设计了三种辅助损失来控制专家级负载平衡、设备级负载平衡和通信平衡。
-
采用设备级token丢弃策略来进一步缓解计算浪费。
推荐阅读
AIGCmagic社区介绍：
2025年《AIGCmagic社区知识星球》五大AIGC方向全新升级！
AI多模态核心架构五部曲：
AI多模态模型架构之模态编码器：图像编码、音频编码、视频编码
AI多模态模型架构之输入投影器：LP、MLP和Cross-Attention
AI多模态模型架构之LLM主干(1)：ChatGLM系列
AI多模态模型架构之LLM主干(2)：Qwen系列
AI多模态模型架构之LLM主干(3)：Llama系列
2025年《AIGCmagic社区知识星球》五大AIGC方向全新升级！
AI多模态模型架构之模态生成器：Modality Generator
AI多模态实战教程：
AI多模态教程：从0到1搭建VisualGLM图文大模型案例
AI多模态教程：Mini-InternVL1.5多模态大模型实践指南
AI多模态教程：Qwen-VL升级版多模态大模型实践指南
AI多模态实战教程：面壁智能MiniCPM-V多模态大模型问答交互、llama.cpp模型量化和推理
技术交流
加入「AIGCmagic社区」，一起交流讨论，涉及AI视频、AI绘画、数字人、多模态、大模型、传统深度学习、自动驾驶等多个不同方向，可私信或添加微信号：【lzz9527288】，备注不同方向邀请入群！
更多精彩内容，尽在「AIGCmagic社区」，关注了解全栈式AIGC内容！