ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【Linux】情况搭建Qwen2-VL-7B模型（图文详解-结果案例） [打印本页]

作者: 张春 时间: 2024-12-22 03:31
标题: 【Linux】情况搭建Qwen2-VL-7B模型（图文详解-结果案例）
一、硬件情况

操纵体系：Ubuntu 22.04
CPU：16+60G
GPU：24G
二、项目地址

1.代码地址：GitHub - QwenLM/Qwen2-VL: Qwen2-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud.
2.Qwen2-VL-7B模型地址

wen/Qwen2-VL-7B-Instruct · Hugging Face
3.modelscope的Qwen2-VL-7B模型地址：魔搭社区
阐明：如果你服务器不支持访问Hugging Face的地址大概先通过代理下载到当地在上传到服务器，大概在服务器上通过魔塔社区地址举行下载。
三、Qwen2-VL-7B部署

1.准备工作

（1）安装Anaconda软件

可参考博客：Linux情况安装Anaconda(详细图文)_linux安装anaconda-CSDN博客
（2）创建Qwen2-VL必要的python情况并激活

① 创建Qwen2-VL情况

conda create -n qwen2-vl python=3.10

复制代码

② 激活情况

conda activate qwen2-vl

复制代码

2.拉取Qwen2-VL项目代码

（1）切换到磁盘挂载目录
cd /data/
（2）拉取代码并切换到对应目录

git clone https://github.com/QwenLM/Qwen2-VL.git
cd Qwen2-VL

复制代码

（3）下载依赖

pip install -r requirements.txt

复制代码

文件内容如下：

如果通过 pip install -r requirements.txt 不能下载，那么我们可以手动下载以上文件内容。

git clone https://github.com/huggingface/transformers
cd transformers
pip install . accelerate
pip install qwen-vl-utils
pip install torchvision
pip install gradio==4.42.0 # 说明最好下载最新版，及不指定版本（pip install gradio）
pip install gradio_client==1.3.0 # 说明最好下载最新版(pip install gradio_client)

复制代码

下载好了之后内容如下：

3.下载Qwen2-VL模型

方式一：手动下载

通过windows上挂载代理软件访问抱脸地址：https://huggingface.co/Qwen/Qwen2-VL-7B-Instruct 把Files and versions 下文件全部下载，模型下载时间比较长，耐心等候。

方式二：通过modelscope下载

可以在服务器上通过下令，这个下载速率相对较快。

git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen2-VL-7B-Instruct.git
或
pip install modelscope
modelscope download --model Qwen/Qwen2-VL-7B-Instruct

复制代码

4.修改web_demo_mm.py文件内容

阐明：重要修改模型加载路径和访问的地址端口。
vim web_demo_mm.py

5.尝试启动（GPU）

python web_demo_mm.py

复制代码

或 CPU启动

python web_demo_mm.py --cpu-only

复制代码

报错如下：百度之后发现是由于这是由于gradio版本与pydantic版本不匹配导致的错误。。

解决方案：由于我之前安装 gradio的指定了版本信息，因此直接通过下令升级： pip install --upgrade gradio
启动成功：

四、验证

访问：IP+端口
注意：必要开放对应的端口。

到此大功告成，web端部署成功。大家感爱好的可以试试。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4