【Linux】情况搭建Qwen2-VL-7B模型（图文详解-结果案例）
一、硬件情况操纵体系：Ubuntu 22.04
CPU：16+60G
GPU：24G
二、项目地址
1.代码地址：GitHub - QwenLM/Qwen2-VL: Qwen2-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud.
2.Qwen2-VL-7B模型地址:Qwen/Qwen2-VL-7B-Instruct · Hugging Face
3.modelscope的Qwen2-VL-7B模型地址：魔搭社区
阐明：如果你服务器不支持访问Hugging Face的地址大概先通过代理下载到当地在上传到服务器，大概在服务器上通过魔塔社区地址举行下载。
三、Qwen2-VL-7B部署
1.准备工作
（1）安装Anaconda软件
可参考博客：Linux情况安装Anaconda(详细图文)_linux安装anaconda-CSDN博客
（2）创建Qwen2-VL必要的python情况并激活
① 创建Qwen2-VL情况
conda create -n qwen2-vl python=3.10 ② 激活情况
conda activate qwen2-vl 2.拉取Qwen2-VL项目代码
（1）切换到磁盘挂载目录
cd /data/
（2）拉取代码并切换到对应目录
git clone https://github.com/QwenLM/Qwen2-VL.git
cd Qwen2-VL （3）下载依赖
pip install -r requirements.txt 文件内容如下：
https://i-blog.csdnimg.cn/direct/e579a1a83fb94cc1822e18234b3d06fc.png
如果通过 pip install -r requirements.txt 不能下载，那么我们可以手动下载以上文件内容。
git clone https://github.com/huggingface/transformers
cd transformers
pip install . accelerate
pip install qwen-vl-utils
pip install torchvision
pip install gradio==4.42.0 # 说明最好下载最新版，及不指定版本（pip install gradio）
pip install gradio_client==1.3.0 # 说明最好下载最新版(pip install gradio_client)
下载好了之后内容如下：
https://i-blog.csdnimg.cn/direct/3b14e879e64a495fa540a8a3dc7b67ff.png
3.下载Qwen2-VL模型
方式一：手动下载
通过windows上挂载代理软件访问抱脸地址：https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct 把Files and versions 下文件全部下载，模型下载时间比较长，耐心等候。
https://i-blog.csdnimg.cn/direct/ca24c9321118420c9c2d6bd210989715.png
方式二：通过modelscope下载
可以在服务器上通过下令，这个下载速率相对较快。
git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen2-VL-7B-Instruct.git
或
pip install modelscope
modelscope download --model Qwen/Qwen2-VL-7B-Instruct
https://i-blog.csdnimg.cn/direct/9f899ed0920643eab468b60b4c9cca93.png
4.修改web_demo_mm.py文件内容
阐明：重要修改模型加载路径和访问的地址端口。
vim web_demo_mm.py
https://i-blog.csdnimg.cn/direct/e512aced6f0448ffbf210e37aa1d5aa9.png
5.尝试启动（GPU）
python web_demo_mm.py 或 CPU启动
python web_demo_mm.py --cpu-only
报错如下：百度之后发现是由于这是由于gradio版本与pydantic版本不匹配导致的错误。。
https://i-blog.csdnimg.cn/direct/b8c51eb21e6e468aa067f99529db3e45.png
解决方案：由于我之前安装 gradio的指定了版本信息，因此直接通过下令升级： pip install --upgrade gradio
启动成功：
https://i-blog.csdnimg.cn/direct/1110438e261345e4b29486e7cece5061.png
四、验证
访问：IP+端口
注意：必要开放对应的端口。
https://i-blog.csdnimg.cn/direct/3dea8b7a251345729b62bbf2a2827903.png
https://i-blog.csdnimg.cn/direct/1a3db034968e479688ec2bc2826a2c33.png
到此大功告成，web端部署成功。大家感爱好的可以试试。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]