【Linux】情况搭建Qwen2-VL-7B模型（图文详解-结果案例） ...

一、硬件情况

操纵体系：Ubuntu 22.04
CPU：16+60G
GPU：24G
二、项目地址

1.代码地址：GitHub - QwenLM/Qwen2-VL: Qwen2-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud.
2.Qwen2-VL-7B模型地址wen/Qwen2-VL-7B-Instruct · Hugging Face
3.modelscope的Qwen2-VL-7B模型地址：魔搭社区
阐明：如果你服务器不支持访问Hugging Face的地址大概先通过代理下载到当地在上传到服务器，大概在服务器上通过魔塔社区地址举行下载。
三、Qwen2-VL-7B部署

1.准备工作

（1）安装Anaconda软件

可参考博客：Linux情况安装Anaconda(详细图文)_linux安装anaconda-CSDN博客
（2）创建Qwen2-VL必要的python情况并激活

         ① 创建Qwen2-VL情况

1. conda create -n qwen2-vl python=3.10

复制代码

         ② 激活情况

1. conda activate qwen2-vl

复制代码

2.拉取Qwen2-VL项目代码

（1）切换到磁盘挂载目录
cd /data/
（2）拉取代码并切换到对应目录

1. git clone https://github.com/QwenLM/Qwen2-VL.git
3. cd Qwen2-VL

复制代码

 （3）下载依赖

1. pip install -r requirements.txt

复制代码

文件内容如下：

如果通过 pip install -r requirements.txt 不能下载，那么我们可以手动下载以上文件内容。

1. git clone https://github.com/huggingface/transformers
2. cd transformers
3. pip install . accelerate
4. pip install qwen-vl-utils
5. pip install torchvision
6. pip install gradio==4.42.0 # 说明最好下载最新版，及不指定版本（pip install gradio）
7. pip install gradio_client==1.3.0 # 说明最好下载最新版(pip install gradio_client)

复制代码

下载好了之后内容如下：

 3.下载Qwen2-VL模型

方式一：手动下载

通过windows上挂载代理软件访问抱脸地址：https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct  把Files and versions 下文件全部下载，模型下载时间比较长，耐心等候。

方式二：通过modelscope下载

可以在服务器上通过下令，这个下载速率相对较快。

1. git lfs install
2. git clone https://www.modelscope.cn/Qwen/Qwen2-VL-7B-Instruct.git
3. 或
4. pip install modelscope
5. modelscope download --model Qwen/Qwen2-VL-7B-Instruct

复制代码

4.修改web_demo_mm.py文件内容

阐明：重要修改模型加载路径和访问的地址端口。
vim web_demo_mm.py

5.尝试启动（GPU）

1. python web_demo_mm.py

复制代码

或 CPU启动

1. python web_demo_mm.py --cpu-only

复制代码

报错如下：百度之后发现是由于这是由于gradio版本与pydantic版本不匹配导致的错误。。

解决方案：由于我之前安装 gradio的指定了版本信息，因此直接通过下令升级： pip install --upgrade gradio
启动成功：

四、验证

访问：IP+端口
注意：必要开放对应的端口。

到此大功告成，web端部署成功。大家感爱好的可以试试。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。