温州专业营销网站建设网站文章发布
🔥 Day1：FlashMLA —— GPU推理加速器
- 专为处理长短不一的AI推理请求而生，就像给Hopper GPU装上了智能导航，让数据在芯片上跑出3000GB/s的"磁悬浮"速度。
- ✅ 已支持BF16格式｜580万亿次浮点运算/秒
- FlashMLA GitHub Repo([1])
Flash MLA是一个针对Hopper GPU优化的高效MLA解码内核，专为处理可变长度序列而设计。与传统解码器相比，Flash MLA在处理可变长度序列时，能够显著提高计算效率和速度。这对于自然语言处理、图像识别、语音识别等需要大规模数据处理的应用场景具有重要意义，可以加速模型训练和推理过程，提升AI应用的性能和效率。
🔥 Day2：DeepEP —— 专家模型通信枢纽
- 首个开源的MoE模型通信库，让分布在多个GPU的"AI专家"像坐上了光速传输带，通过NVLink和RDMA实现毫秒级协作。
- ✅ 原生FP8支持｜训练推理双优化
- DeepEP GitHub Repo([2])
DeepEP专为专家混合(MoE)和专家并行(EP)设计的通信库，高效且优化的all-to-all通信，支持 dispatch & combine。节点内和节点间支持NVLink和RDMA，用于训练和推理预填充的高吞吐量内核，用于推理解码的低延迟内核，原生FP8调度支持，灵活的GPU资源控制，实现计算与通信重叠。
🔥 Day3：DeepGEMM —— 矩阵运算新标杆
- 用300行核心代码实现FP8计算革命，在Hopper GPU上飙出1350万亿次/秒的运算速度，比专家手工调优的代码还要快。
- ✅ 支持密集/MoE双模式｜即编即用
- DeepGEMM GitHub Repo([3])
DeepGEMM是一个支持密集型和混合专家(MoE)通用矩阵乘法(GEMM)运算的FP8通用矩阵乘法库，它为V3/R1模型的训练和推理提供支持。
DeepGEMM完全基于NVIDIA的CUDA并行计算平台编写，充分利用了NVIDIA Hopper架构的最新张量核心进行优化。
它采用即时编译(JIT)技术，无需预编译，可在运行时动态编译内核，提高了灵活性和适应性。
🔥 Day4：DualPipe & EPLB —— 并行计算的交响指挥
- DualPipe流水线([4])：像给AI训练装上双向磁悬浮，计算与传输完美错峰。
- EPLB负载均衡器([5])：让每个GPU专家都精准接单，拒绝"忙闲不均"。
- profile-data可视化分析工具([6])：给计算通信做"CT扫描"，病灶一目了然。
DualPipe：一种优化的双向流水线并行算法，旨在优化V3/R1模型训练中的计算和通信重叠。DualPipe专为V3/R1架构设计，通过创新的双向数据流管道，实现计算与通信的高度重叠。相较于传统单向流水线，该技术可显著提升计算吞吐量，尤其适用于千亿至万亿参数规模的模型训练。DualPipe通过智能调度机制，在反向传播阶段同步执行前向计算，使硬件利用率提升约30%。可谓是训练界的时间管理大师!
EPLB (Expert-Parallel Load Balancer)：这是一个用于V3/R1的专家并行负载均衡器。负载均衡是分布式训练非常重点的优化方向了，EPLB通过实时监控与自适应分配计算任务，确保各个计算节点的"工作量"适中，避免某些节点成为瓶颈,，使万卡级集群的整体利用率提升至92%以上，有效避免资源闲置，进一步提高训练效率。
Computation-Communication Overlap Analyzer：这个工具帮助分析V3/R1模型中的计算和通信重叠部分。DeepSeek首次构建了3D并行（数据/流水线/张量并行）的时空效率模型。通过开源的分析数据集开发者可精准定位计算与通信的冲突节点，为超大规模模型训练提供调优基准，据测试可减少约15%的端到端训练耗时。
🔥 Day5：3FS & Smallpond —— 数据洪流的超导管道
- 3FS GitHub Repo([7])：是一个利用现代SSD和RDMA网络全带宽的并行文件系统。
- Smallpond GitHub Repo([8]) : 是一款构建于DuckDB和3FS之上的轻量级数据处理框架。
Fire-Flyer 文件系统（3FS）是一个利用现代SSD和RDMA网络全带宽的并行文件系统。Smallpond是一款构建于DuckDB和3FS之上的轻量级数据处理框架。它旨在简化在3FS上进行数据处理的流程，并充分利用DuckDB的高性能分析能力，充分榨干SSD和RDMA性能。
GitHub Repo
[1]FlashMLA GitHub Repo:https://github.com/deepseek-ai/FlashMLA
[2]DeepEP GitHub Repo:https://github.com/deepseek-ai/DeepEP
[3]DeepGEMM GitHub Repo:https://github.com/deepseek-ai/DeepGEMM
[4]DualPipe流水线:https://github.com/deepseek-ai/DualPipe
[5]EPLB负载均衡器:https://github.com/deepseek-ai/eplb
[6]profile-data可视化分析工具:https://github.com/deepseek-ai/profile-data
[7]3FS GitHub Repo:https://github.com/deepseek-ai/3FS
[8]Smallpond GitHub Repo:https://github.com/deepseek-ai/smallpond
