Qwen2.5 模型利用初体验

1. 环境准备

1. conda create -n my_vllm python==3.9.19 pip
2. conda activate my_vllm
3. pip install modelscope
4. pip install vllm

复制代码

2. 模型下载

1. # 模型下载
2. # modelscope默认安装路径：/root/.cache/modelscope/hub/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8
3. from modelscope import snapshot_download
4. model_dir = snapshot_download('qwen/Qwen2.5-72B-Instruct-GPTQ-Int8', local_dir='/home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8')

复制代码

参考文档：
魔搭社区
服从评估 - Qwen
3. 直接服务器vllm启动测试

1. vllm serve /home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8 --tensor-parallel-size 2 --max-model-len 256

复制代码

参考文档：
https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。