NVIDIA H20-3e 141G Docker LLaMA Factory 训练与vllm 推理实战：解锁 Qwen ...

简介

本文深度解析基于 NVIDIA H20-3e 141G GPU 的 AI 开辟全流程，重点出现其相比前代 H20 在硬件架构、显存容量（141GB vs 96GB）及计算服从上的跨越式升级。通过 LLaMA Factory 框架实现 Qwen2.5-14B 模型的监视微调（SFT）训练，结合 Transformer 引擎与多实例 GPU 技能，突破传统显存限制，实现混合精度训练吞吐量提拔。在推理环节，vllm 引擎借助 H20-3e 的 FP8 计算焦点与更快的 NVLink 互联，使 DeepSeek-R1-FP8 671B 超大模型的全量推理成为现实，实测单卡吞吐量较 H20 提拔倍，同时保持数值精度一致性。文章还对比了 H20-3e 在训练稳定性、推理延迟等方面的优化表现，验证其作为新一代 AI 计算平台的技能上风。
平台部门

驱动安装

起首需要安装NVIDIA-driver-xxx以及NVIDIA Fabricmanager-xxx，这两者都可以通过apt安装大概通过NVIDIA 官网进行下载安装，安装部门不再赘述，此中后者尤其重要，因为其关乎NVLINK能否正常使用

安装docker

1. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

复制代码

1. echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

复制代码

1. sudo apt update

复制代码

1. sudo apt install docker-ce docker-ce-cli containerd.io

复制代码

配置NVIDIA-docker-toolkit

1. curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
2.   && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
3.     sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
4.     sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

复制代码

1. sudo apt-get install -y nvidia-container-toolkit

复制代码

1. sudo nvidia-ctk runtime configure --runtime=docker

复制代码

1. sudo systemctl restart docker

复制代码

如果运行完上述代码后没有报错，阐明已经安装乐成
简单测试

直接从NGC拖适合驱动版本的m5c镜像，之后从GitHub - NVIDIA/cuda-samples at v12.4.1
与GitHub - wilicc/gpu-burn: Multi-GPU CUDA stress test，中下载即可
P2P 性能简单测试

GPU burn测试

不知道为什么，在跑到将近30秒的时候算力会突然倍增

训练部门

下载镜像

从NGC 镜像站中下载较新的pytorch 镜像PyTorch | NVIDIA NGC

1. docker pull nvcr.io/nvidia/pytorch:xx.xx-py3

复制代码

然后本地通过下面的下令启动镜像，此中，network与ipc=host较为重要，决定了容器内网络的状态以及宿主机答应直通给容器的资源数目和性能

1. docker run -v 宿主机路径:容器内需要挂在的路径 --privileged --network=host --ulimit stack=68719476736  --ipc=host --entrypoint=/bin/bash --gpus all -it nvcr.io/nvidia/pytorch:xx.xx-py3

复制代码

安装LLAMA Factory

1. git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

复制代码

1. cd LLaMA-Factory

复制代码

1. pip install -e ".[torch,metrics]"

复制代码

在输入上述下令后，可能会出现一些在线或离线安装pip包的过程，此中有些包的兼容性可能存在辩论，但是如果是不常用的包可以直接不管
乐成安装后，输入下面的下令，能乐成运行即为安装乐成

1. llamafactory-cli version

复制代码

修改SFT配置文件

进入examples/train_lora/llama3_lora_sft.yaml配置文件

重要需要修改的有几点
modelnameorpah：根据本地或云端模型的路径位置修改
trust_remote_code: 如果模型在本地就删掉，如果是云端模型需要下载的就保留
dataset：数据集实际路径，也可以选择/data目录下有的示例数据集
cutoff lengh：实际输入padding长度，根据实际数据集输入修改
batch_size与accumulation_step：按需修改
启动训练

进入LLaMa factory 工程主目录

1. llamafactory-cli train ./examples/train_lora/llama3_lora_sft.yaml

复制代码

训练占用

最后出现下图结果，即为训练完成

推理部门

下载镜像

1. docker pull docker.io/vllm/vllm-openai:v0.7.3

复制代码

1. docker run -v 宿主机路径:容器内需要挂在的路径 --privileged --network=host --ulimit stack=68719476736  --ipc=host --entrypoint=/bin/bash --gpus all -it docker.io/vllm/vllm-openai:v0.7.3

复制代码

启动后输入

1. vllm -v

复制代码

出现下图即为安装乐成

运行推理

起首，下载好全量的FP8 DeepSeek-R1 模型，然后输入（deepseek的模型推理命名一般就为deepseek-reasoner）

1. python3 -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --max-model-len 65536 --max-num-batched-tokens 65536 --trust-remote-code --tensor-parallel-size 8 --gpu-memory-utilization 0.9 --served-model-name deepseek-reasoner   --model 容器内模型路径

复制代码

最后出现图片中的结果，即为部署乐成

实际部署占用

API 调用

起首需要pip 安装 openai
单并发

1. from openai import OpenAI
4. client = OpenAI(
5.     base_url="http://localhost:8000/v1",
6.     api_key="token-abc123",
7. )
9. completion = client.chat.completions.create(
10.   model="deepseek-reasoner",
11.   messages=[
12.     {"role": "user", "content": "Hello!"}
13.   ]
14. )
16. print(completion.choices[0].message.content)

复制代码

1. from openai import OpenAI
2. import threading
3. import queue
4. import sys
5. from concurrent.futures import ThreadPoolExecutor, as_completed
7. class AsyncStreamProcessor:
8.     def __init__(self, base_url="http://localhost:8000/v1", max_workers=4):
9.         self.client = OpenAI(base_url=base_url, api_key="None")
10.         self.max_workers = max_workers
11.         self.executor = ThreadPoolExecutor(max_workers=max_workers)
13.     def process_stream(self, response, output_queue):
14.         try:
15.             for chunk in response:
16.                 if chunk.choices[0].delta.content is not None:
17.                     output_queue.put(chunk.choices[0].delta.content)
18.         except Exception as e:
19.             output_queue.put(f"Error: {str(e)}")
20.         finally:
21.             output_queue.put(None)
23.     def print_output(self, output_queue, request_id):
24.         while True:
25.             content = output_queue.get()
26.             if content is None:
27.                 break
28.             print(f"Request {request_id}: {content}", end="", flush=True)
29.         print()  # Final newline
31.     def process_single_request(self, prompt, request_id):
32.         output_queue = queue.Queue()
33.         
34.         try:
35.             response = self.client.chat.completions.create(
36.                 model="/root/model/DeepSeek-R1-Distill-Qwen-32B/",
37.                 messages=[
38.                     {
39.                         "role": "user",
40.                         "content": [
41.                             {
42.                                 "type": "text",
43.                                 "text": prompt
44.                             }
45.                         ],
46.                     }
47.                 ],
48.                 temperature=0.6,
49.                 stream=True
50.             )
52.             # Create and start the stream processing thread
53.             stream_thread = threading.Thread(
54.                 target=self.process_stream,
55.                 args=(response, output_queue)
56.             )
57.             stream_thread.start()
59.             # Create and start the printing thread
60.             print_thread = threading.Thread(
61.                 target=self.print_output,
62.                 args=(output_queue, request_id)
63.             )
64.             print_thread.start()
66.             # Wait for both threads to complete
67.             stream_thread.join()
68.             print_thread.join()
70.             return f"Request {request_id} completed"
72.         except Exception as e:
73.             return f"Request {request_id} failed: {str(e)}"
75.     def process_multiple_requests(self, prompts):
76.         futures = []
77.         
78.         # Submit all requests to the thread pool
79.         for idx, prompt in enumerate(prompts):
80.             future = self.executor.submit(
81.                 self.process_single_request,
82.                 prompt,
83.                 idx + 1
84.             )
85.             futures.append(future)
87.         # Wait for all requests to complete and get results
88.         results = []
89.         for future in as_completed(futures):
90.             results.append(future.result())
92.         return results
94.     def shutdown(self):
95.         self.executor.shutdown(wait=True)
97. def main():
98.     # Example prompts
99.     prompts = [
100.         """已知函数 $f(x) = \ln \frac{x}{2-x} + ax + b(x-1)^3$
101. (1) 若 $b=0$，且 $f'(x) \geq 0$，求 $a$ 的最小值；""",
102.         """已知函数 $f(x) = \ln \frac{x}{2-x} + ax + b(x-1)^3$
103. (2) 证明：曲线 $y=f(x)$ 是中心对称图形；""",
104.         """已知函数 $f(x) = \ln \frac{x}{2-x} + ax + b(x-1)^3$
105. (3) 若 $f(x) > -2$ 当且仅当 $1 < x < 2$，求 $b$ 的取值范围。"""
106.     ]
108.     # Initialize the processor with 4 worker threads
109.     processor = AsyncStreamProcessor(max_workers=4)
110.    
111.     try:
112.         # Process all requests
113.         results = processor.process_multiple_requests(prompts)
114.         
115.         # Print final results
116.         print("\nFinal results:")
117.         for result in results:
118.             print(result)
119.    
120.     finally:
121.         # Ensure the thread pool is properly shut down
122.         processor.shutdown()
124. if __name__ == "__main__":
125.     main()

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。