怎样在AMD MI300X 服务器上部署 DeepSeek R1模型？

DeepSeek-R1凭借其深度推理能力备受关注，在语言模型性能基准测试中可与顶级闭源模型对抗。
     
AMD Instinct MI300X GPU可在单节点上高效运行新发布的DeepSeek-R1和V3模型。
     
用户通过SGLang优化，将MI300X的性能提拔至初始版本的4倍，且更多优化将在未来几周内集成到开源代码中。
     
MI300X的高内存带宽和容量上风，使Chain of Thought（CoT）推理能更快速、高效地访问大内存，支持现实应用中更长序列的处理处罚。
     
在本博文中，我们将探讨DeepSeek-R1怎样在AMD Instinct™ MI300X GPU上实现杰出性能，并与H200进行性能对比。借助MI300X，用户可在单节点上高效部署DeepSeek-R1和V3模型。仅通过两周的SGLang优化，推理速度已提拔高达4倍，确保了高效扩展、更低耽误及优化吞吐量。MI300X的高带宽内存（HBM）和强大算力可处理处罚复杂AI任务，支持更长序列和高要求推理。AMD与SGLang社区连续推进优化，包括融合MoE内核、MLA内核融合及推测性解码，使MI300X的AI推理体验更加强大。
     
现在，企业除了可以从AMD官方预定MI300X以外，还可以通过云平台来使用MI300X，比方DigitalOcean 最新推出的基于MI300X的GPU 裸金属服务器（具体详情可咨询卓普云）。
     
DeepSeek模型部署挑衅

     
尽管大规模部署需求日益迫切，但实现最优推理性能仍面临技术挑衅。DeepSeek-R1是一个超大规模模型（参数目超640 GB），纵然以FP8精度训练，也无法在8卡NVIDIA H100单节点中部署。此外，其多头潜伏留意力（MLA）和专家混淆（MoE）架构需要高度优化的内核以实现高效扩展和定制化优化。最后，适配支持块量化FP8 GEMM内查对最大化吞吐量和性能至关紧张，因此内核调优是高效实验的关键。
     
在MI300X上使用SGLang

     
SGLang是面向LLM和VLM的高性能开源推理框架，提供高效运行时、广泛模型支持及生动社区，正被行业广泛接纳。AMD作为SGLang的焦点贡献者，与社区紧密互助，优化AMD Instinct GPU上的LLM推理。为提供最佳MI300X开箱即用体验，SGLang已发布预构建Docker镜像和文件，既可用于生产部署，也可作为定制化用例的起点。
     
基准测试关键结论

     
以下是SGLang在Instinct MI300X上的推理基准测试要点：
     

• 仅两周内，通过优化FP8精度的6710亿参数DeepSeek-R1模型（非精简版），推理性能提拔高达4倍，全部优化已集成到SGLang（图1）。
  
• DeepSeek-R1和V3模型在MI300X上经过高度优化，充分利用其强大算力和大容量HBM内存。
  

     

     
对于需低耽误的在线推理场景（如聊天应用），单节点8卡MI300X在32并发哀求下仍可保持每输出token时间（TPOT）低于50ms。离线任务则可通过更大并发设置提拔吞吐量。
     
图2显示，当最大并发从1增至32时，性能紧张受限于内存；而32至64并发区间则转为盘算瓶颈。
     

     
怎样复现基准测试

     
以下是MI300X和H200的测试步调（假设模型已下载）：
     
在MI300X上

     
1、下载Docker镜像：
     
      

1. docker pull rocm/sglang-staging:20250212  

复制代码

   
2、运行容器：
     

1. docker run -d -it --ipc=host --network=host --privileged --device=/dev/kfd --device=/dev/dri --device=/dev/mem --group-add render --security-opt seccomp=unconfined -v /home:/workspace rocm/sglang-staging:20250212  
2. docker exec -it <container_id> bash  

复制代码

   
3、启动推理服务：
     

1. HSA_NO_SCRATCH_RECLAIM=1 python3 -m sglang.launch_server --model /workspace/models/DeepSeek-R1/ --tp 8 --trust-remote-code  

复制代码

   
4、运行客户端哀求：
     

1. concurrency_values=(128 64 32 16 8 4 2 1)  
2. for concurrency in "${concurrency_values[@]}";do  
3.     python3 -m sglang.bench_serving \  
4.     --dataset-name random \  
5.     --random-range-ratio 1 \  
6.     --num-prompt 500 \  
7.     --random-input 3200 \  
8.     --random-output 800 \  
9.     --max-concurrency "${concurrency}"  
10. done  

复制代码

   
      
在H200上

     
1、下载Docker镜像：
     

1. docker pull lmsysorg/sglang:v0.4.2.post3-cu125  

复制代码

   
2、运行容器：
     

1. docker run -d -it --rm --gpus all --shm-size 32g -p 30000:30000 -v /home:/workspace --ipc=host lmsysorg/sglang:v0.4.2.post4-cu125  
2. docker exec -it <container_id> bash  

复制代码

   
3、使用与MI300X雷同的命令运行基准测试：
     

1. HSA_NO_SCRATCH_RECLAIM=1 python3 -m sglang.launch_server --model /workspace/models/DeepSeek-R1/ --tp 8 --trust-remote-code  

复制代码

   
      
完成以上步调后，就可以在MI300X服务器上实时运行DeepSeek-R1的聊天应用了。
     
未来方向

     
未来AMD与SGLang将推出更多优化，包括：
     

• 融合MoE内核优化
  
• MLA内核融合
  
• 集群通信增强
  
• 数据并行（DP）与专家并行（EP）
  
• 前向盘算与解码分离
  
• 谋利性解码
  

     
这些改进将进一步释放MI300X的潜力，为AI推理带来更强大的性能。别的，如果希望机遇MI300X部署进行AI产品开辟，接待了解DigitalOcean GPU Droplet服务器，​具体详情可咨询DigitalOcean中国区独家战略互助同伴卓普云。​
     

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。