服务器选用：算力云 部署qwen2.5-vl-7B，24g显卡跑不起图，单问题目就占20g左右。有能力可以用大点的显卡
一、下载模型 Qwen2.5-VL-7B-Instruct
有conda ，可以在conda下操纵，不知道conda的同砚可以参考本博主之前的文章Conda/Miniconda/Anaconda 安装及下令整理_conda mini-CSDN博客；
conda create --name qwen python=3.11
conda activate qwen
模型地点： 魔搭社区
pip install modelscope
可以使用sdk下载、git下载、下令行下载，本次使用下令行下载方便指定下载路径到数据盘：
cd /root/autodl-tmp #进到数据盘目录
mkdir qwen2.5 #创建文件夹
cd qwen2.5
mkdir Qwen2___5-VL-7B-Instruct #创建模型文件夹
#下载模型到指定文件夹
modelscope download --model Qwen/Qwen2.5-VL-7B-Instruct --local_dir ./Qwen2___5-VL-7B-Instruct
留意：local_dir后是下载到指定文件夹
二、下载项目代码及相关安装
git clone https://github.com/QwenLM/Qwen2.5-VL
cd Qwen2.5-VL
pip install git+https://github.com/huggingface/transformers accelerate
# It's highly recommanded to use `[decord]` feature for faster video loading.
pip install qwen-vl-utils[decord]==0.0.8
三 启动webUI
git下来的Qwen2.5-VL目录下有个web_demo_mm.py文件，打开该文件，有两处需要修改：
第一处：修改模型加载的路径：
DEFAULT_CKPT_PATH = ‘/root/autodl-tmp/qwen2.5/Qwen2___5-VL-7B-Instruct’
第二处：修改web ui 的端标语
parser.add_argument(‘–server-port’, type=int, default=6006, help=‘Demo server port.’)
执行下令：
python web_demo_mm.py
如有报错，少啥装啥，如下：
pip install gradio
pip install torchvision
启动成功：
算力云服务需要使用隧道代理，autoDL资助文档->最佳实践->ssh隧道有教程可以查察：
SSH代理下令¶
使用SSH将实例中的端口代理到当地，具体步调为：
Step.1 在实例中启动您的服务（比如您的服务监听6006端口，下面以6006端口为例）
Step.2 在当地电脑的终端(cmd / powershell / terminal等)中执行代理下令
ssh -CNg -L 6006:127.0.0.1:6006 root@123.125.240.150 -p 42151
其中root@123.125.240.150和42151分别是实例中SSH指令的访问地点与端口，请找到自己实例的ssh指令做相应替换。6006:127.0.0.1:6006是指代理实例内6006端口到当地的6006端口。
留意：执行完这条ssh下令，没有任何日志是正常的，只要没有要求重新输入密码或错误退出
Windows下的cmd/powershell如果不停提示密码错误，是由于无法粘贴，手动输入即可（正常不会显示正在输入的密码)
Step.3 在当地欣赏器中访问http://127.0.0.1:6006即可打开服务，留意这里的6006端口要和上述6006:127.0.0.1:6006中的端口保持一致
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
