大模子条记之-Llama-3.1-405B-Instruct-FP8离线部署[8*A800] 基于vLLM 版本 ...

提示：文章写完后，目次可以主动生成，怎样生成可参考右边的资助文档
  
  

---

前言

感谢：星鸾云提供8卡A800测试情况，本次部署教程均在星鸾云平台完成
邀请链接：https://xl.hzxingzai.cn/register?invitation_code=8707231444
Meta 的新一代开源大语言模子
vllm Blog：https://blog.vllm.ai/2024/07/23/llama31.html
一、硬件情况

GPU：A800 80GB PCIe * 8 卡
CPU：112 核
内存：880 G
二、软件情况

Python：Miniconda
CUDA Version:12.3
三 . 模子下载

• 利用魔搭下载脚本
  

1. #1.安装依赖
2. pip install modelscope
3. #2.新建download.py 填入下面文件
4. from modelscope import snapshot_download
5. model_dir = snapshot_download('LLM-Research/Meta-Llama-3.1-405B-Instruct-FP8',cache_dir='/user/data/model')
6. #3.开始下载
7. python download.py

复制代码

1.情况准备

新建 conda虚拟情况

1. conda create -n llama405 python=3.10
3. conda activate llama405

复制代码

安装vLLM

1. pip install -U vllm
2. #清华源加速 -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

2. ### 启动脚本
4. ## 环境检查
6. ```bash
7. pip freeze | grep vllm
8. vllm==0.5.3.post1
9. vllm-flash-attn==2.5.9.post1

复制代码

启动下令

1. python -m vllm.entrypoints.openai.api_server
2. --host 0.0.0.0
3. --port 8000
4. --gpu-memory-utilization 0.99
5. --max-model-len=16384
6. --served-model-name Llama-3.1-405B-Instruct-FP8
7. --model /root/xinglin-data/Llama-3.1-405B-Instruct-FP8
8. --kv-cache-dtype fp8_e4m3
9. --trust-remote-code
10. --tensor-parallel-size 8

复制代码

1. python -m vllm.entrypoints.openai.api_server
2. --host 0.0.0.0
3. --port 8000
4. --gpu-memory-utilization 0.99
5. --max-model-len=16384
6. --served-model-name Llama-3.1-405B-Instruct-FP8
7. --model /root/xinglin-data/Llama-3.1-405B-Instruct-FP8
8. --kv-cache-dtype fp8_e4m3
9. --trust-remote-code
10. --tensor-parallel-size 8

复制代码

启动日志截取

FP8 量化丧失

对接到fastgpt

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。