ToB企服应用市场:ToB评测及商务社交产业平台

标题: Qwen2.5 模型利用初体验 [打印本页]

作者: 刘俊凯 时间: 2024-9-25 22:16
标题: Qwen2.5 模型利用初体验
1. 环境准备

conda create -n my_vllm python==3.9.19 pip
conda activate my_vllm
pip install modelscope
pip install vllm

复制代码

2. 模型下载

# 模型下载
# modelscope默认安装路径：/root/.cache/modelscope/hub/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen2.5-72B-Instruct-GPTQ-Int8', local_dir='/home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8')

复制代码

参考文档：
魔搭社区
服从评估 - Qwen
3. 直接服务器vllm启动测试

vllm serve /home/models/qwen/Qwen2.5-72B-Instruct-GPTQ-Int8 --tensor-parallel-size 2 --max-model-len 256

复制代码

参考文档：
https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)