如何在AMD MI300X 服务器上部署 DeepSeek R1模型？
DeepSeek-R1凭借其深度推理能力备受关注，在语言模型性能基准测试中可与顶级闭源模型匹敌。
AMD Instinct MI300X GPU可在单节点上高效运行新发布的DeepSeek-R1和V3模型。
用户通过SGLang优化，将MI300X的性能提升至初始版本的4倍，且更多优化将在未来几周内集成到开源代码中。
MI300X的高内存带宽和容量优势，使Chain of Thought（CoT）推理能更快速、高效地访问大内存，支持实际应用中更长序列的处理。
在本博文中，我们将探讨DeepSeek-R1如何在AMD Instinct™ MI300X GPU上实现卓越性能，并与H200进行性能对比。借助MI300X，用户可在单节点上高效部署DeepSeek-R1和V3模型。仅通过两周的SGLang优化，推理速度已提升高达4倍，确保了高效扩展、更低延迟及优化吞吐量。MI300X的高带宽内存（HBM）和强大算力可处理复杂AI任务，支持更长序列和高要求推理。AMD与SGLang社区持续推进优化，包括融合MoE内核、MLA内核融合及推测性解码，使MI300X的AI推理体验更加强大。
目前，企业除了可以从AMD官方预定MI300X以外，还可以通过云平台来使用MI300X，例如DigitalOcean 最新推出的基于MI300X的GPU 裸金属服务器（具体详情可咨询卓普云）。
DeepSeek模型部署挑战
尽管大规模部署需求日益迫切，但实现最优推理性能仍面临技术挑战。DeepSeek-R1是一个超大规模模型（参数量超640 GB），即使以FP8精度训练，也无法在8卡NVIDIA H100单节点中部署。此外，其多头潜在注意力（MLA）和专家混合（MoE）架构需要高度优化的内核以实现高效扩展和定制化优化。最后，适配支持块量化FP8 GEMM内核对最大化吞吐量和性能至关重要，因此内核调优是高效执行的关键。
在MI300X上使用SGLang
SGLang是面向LLM和VLM的高性能开源推理框架，提供高效运行时、广泛模型支持及活跃社区，正被行业广泛采用。AMD作为SGLang的核心贡献者，与社区紧密合作，优化AMD Instinct GPU上的LLM推理。为提供最佳MI300X开箱即用体验，SGLang已发布预构建Docker镜像和文件，既可用于生产部署，也可作为定制化用例的起点。
基准测试关键结论
以下是SGLang在Instinct MI300X上的推理基准测试要点：
- 仅两周内，通过优化FP8精度的6710亿参数DeepSeek-R1模型（非精简版），推理性能提升高达4倍，所有优化已集成到SGLang（图1）。
- DeepSeek-R1和V3模型在MI300X上经过高度优化，充分利用其强大算力和大容量HBM内存。
对于需低延迟的在线推理场景（如聊天应用），单节点8卡MI300X在32并发请求下仍可保持每输出token时间（TPOT）低于50ms。离线任务则可通过更大并发设置提升吞吐量。
图2显示，当最大并发从1增至32时，性能主要受限于内存；而32至64并发区间则转为计算瓶颈。
如何复现基准测试
以下是MI300X和H200的测试步骤（假设模型已下载）：
在MI300X上
1、下载Docker镜像：
docker pull rocm/sglang-staging:20250212
2、运行容器：
docker run -d -it --ipc=host --network=host --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mem --group-add render --security-opt seccomp=unconfined -v /home:/workspace rocm/sglang-staging:20250212
docker exec -it <container_id> bash
3、启动推理服务：
HSA_NO_SCRATCH_RECLAIM=1 python3 -m sglang.launch_server --model /workspace/models/DeepSeek-R1/ --tp 8 --trust-remote-code
4、运行客户端请求：
concurrency_values=(128 64 32 16 8 4 2 1)
for concurrency in "${concurrency_values[@]}";do
python3 -m sglang.bench_serving \
--dataset-name random \
--random-range-ratio 1 \
--num-prompt 500 \
--random-input 3200 \
--random-output 800 \
--max-concurrency "${concurrency}"
done
在H200上
1、下载Docker镜像：
docker pull lmsysorg/sglang:v0.4.2.post3-cu125
2、运行容器：
docker run -d -it --rm --gpus all --shm-size 32g -p 30000:30000 -v /home:/workspace --ipc=host lmsysorg/sglang:v0.4.2.post4-cu125
docker exec -it <container_id> bash
3、使用与MI300X相同的命令运行基准测试：
HSA_NO_SCRATCH_RECLAIM=1 python3 -m sglang.launch_server --model /workspace/models/DeepSeek-R1/ --tp 8 --trust-remote-code
完成以上步骤后，就可以在MI300X服务器上实时运行DeepSeek-R1的聊天应用了。
未来方向
未来AMD与SGLang将推出更多优化，包括：
- 融合MoE内核优化
- MLA内核融合
- 集群通信增强
- 数据并行（DP）与专家并行（EP）
- 前向计算与解码分离
- 投机性解码
这些改进将进一步释放MI300X的潜力，为AI推理带来更强大的性能。另外，如果希望机遇MI300X部署进行AI产品开发，欢迎了解DigitalOcean GPU Droplet服务器，具体详情可咨询DigitalOcean中国区独家战略合作伙伴卓普云。