使用LLaMA-Factory微调训练Qwen2-VL-7B与视觉大模型数据集制作流程 ...

0 相关资料

b站视频：
01 视觉大模型数据集制作流程 qwen2-vl：https://www.bilibili.com/video/BV1opPueXEix/
02 使用LLaMA-Factory微调训练Qwen2-VL-7B-环境安装-模型下载：https://www.bilibili.com/video/BV1DjPheTEsF/
03 使用LLaMA-Factory微调训练Qwen2-VL-7B-数据集：https://www.bilibili.com/video/BV1DjPheTE7e/
04 使用LLaMA-Factory微调训练Qwen2-VL-7B-模型测试：https://www.bilibili.com/video/BV1Q5PheBEAk/
05 使用LLaMA-Factory微调训练Qwen2-VL-7B-模型训练前准备：https://www.bilibili.com/video/BV1D5PheBEGB/
06 使用LLaMA-Factory微调训练Qwen2-VL-7B-模型训练：https://www.bilibili.com/video/BV1Q5PheBENS/
07 使用LLaMA-Factory微调训练Qwen2-VL-7B-模型训练导出与样例测试：https://www.bilibili.com/video/BV1D5PheBEKc/
08 使用LLaMA-Factory微调训练Qwen2-VL-7B-Qwen安装与模型测试：https://www.bilibili.com/video/BV1TkP8ehEMs/
09 使用LLaMA-Factory微调训练Qwen2-VL-7B-Qwen安装与模型测试：https://www.bilibili.com/video/BV1KkP8ehE37/
10 使用LLaMA-Factory微调训练Qwen2-VL-7B-Qwen测试结果：https://www.bilibili.com/video/BV1FRP8epEhW/

---

github: https://github.com/Whiffe/via2yolo/tree/main/BNU/LLM

---

LLaMA-Factory微调qwen2-VL(无sudo)_：https://ljw030710.github.io/2024/12/13/LLaMA-Factory%E5%BE%AE%E8%B0%83qwen2-VL-%E6%97%A0sudo/
【项目实战】通过LLaMaFactory+Qwen2-VL-2B微调一个多模态医疗大模型：https://developer.aliyun.com/article/1643200
使用llama-factory框架下的QWEN2-VL-2B-Instruct跑通图像指令数据集（学习记载）https://blog.csdn.net/2301_80247435/article/details/143678295
1 LLaMA-Factory环境安装

在AutoDL上举行快速部署
基础镜像选择

基础环境
LLaMA-Factory 安装

1. source /etc/network_turbo
3. git clone https://github.com/hiyouga/LLaMA-Factory.git
5. cd LLaMA-Factory
7. pip install -e ".[torch,metrics]"
9. # 检查环境是否安装成功。
11. llamafactory-cli version

复制代码

启动WebUI界面，我修改端口号为6006，由于AutoDL用的这个端口号

1. GRADIO_SERVER_PORT=6006  llamafactory-cli webui

复制代码

2 模型下载

模型地点
https://www.modelscope.cn/Qwen/Qwen2-VL-7B-Instruct

1. source /etc/network_turbo
2. pip install modelscope

复制代码

接纳SDK方式下载

1. from modelscope import snapshot_download
3. # 指定模型的下载路径
4. cache_dir = '/root/autodl-tmp/'
5. # 调用 snapshot_download 函数下载模型
6. model_dir = snapshot_download('Qwen/Qwen2-VL-7B-Instruct', cache_dir=cache_dir)
8. print(f"模型已下载到: {model_dir}")

复制代码

3 模型测试

测试当前模型

4 视觉大模型数据集制作流程

训练数据集的制作流程代码与视频：
https://github.com/Whiffe/via2yolo/tree/main/BNU/LLM/Dataset
视频：https://www.bilibili.com/video/BV1opPueXEix/
训练数据集

1. [
2.   {
3.     "messages": [
4.       {
5.         "content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
6.         "role": "user"
7.       },
8.       {
9.         "content": "其他",
10.         "role": "assistant"
11.       }
12.     ],
13.     "images": [
14.       "Bridge_Behavior/0001_000049.jpg"
15.     ]
16.   },
17.   {
18.     "messages": [
19.       {
20.         "content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
21.         "role": "user"
22.       },
23.       {
24.         "content": "放板子",
25.         "role": "assistant"
26.       }
27.     ],
28.     "images": [
29.       "Bridge_Behavior/0004_000005.jpg"
30.     ]
31.   },
32.   {
33.     "messages": [
34.       {
35.         "content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
36.         "role": "user"
37.       },
38.       {
39.         "content": "放重物",
40.         "role": "assistant"
41.       }
42.     ],
43.     "images": [
44.       "Bridge_Behavior/0004_000008.jpg"
45.     ]
46.   },
47.   {
48.     "messages": [
49.       {
50.         "content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
51.         "role": "user"
52.       },
53.       {
54.         "content": "其他",
55.         "role": "assistant"
56.       }
57.     ],
58.     "images": [
59.       "Bridge_Behavior/0004_000063.jpg"
60.     ]
61.   },
62.   {
63.     "messages": [
64.       {
65.         "content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
66.         "role": "user"
67.       },
68.       {
69.         "content": "测距离",
70.         "role": "assistant"
71.       }
72.     ],
73.     "images": [
74.       "Bridge_Behavior/0018_000004.jpg"
75.     ]
76.   },
77.   {
78.     "messages": [
79.       {
80.         "content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
81.         "role": "user"
82.       },
83.       {
84.         "content": "记数据",
85.         "role": "assistant"
86.       }
87.     ],
88.     "images": [
89.       "Bridge_Behavior/0018_000009.jpg"
90.     ]
91.   },
92.   {
93.     "messages": [
94.       {
95.         "content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
96.         "role": "user"
97.       },
98.       {
99.         "content": "放重物",
100.         "role": "assistant"
101.       }
102.     ],
103.     "images": [
104.       "Bridge_Behavior/0018_000053.jpg"
105.     ]
106.   },
107.   {
108.     "messages": [
109.       {
110.         "content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
111.         "role": "user"
112.       },
113.       {
114.         "content": "其他",
115.         "role": "assistant"
116.       }
117.     ],
118.     "images": [
119.       "Bridge_Behavior/0018_000120.jpg"
120.     ]
121.   }
122. ]

复制代码

修改LLaMA-Factory/data/dataset_info.json文件
添加如下内容：

2.   "Bridge_Behavior": {
3.     "file_name": "Bridge_Behavior.json",
4.     "formatting": "sharegpt",
5.     "columns": {
6.       "messages": "messages",
7.       "images": "images"
8.     },
9.     "tags": {
10.       "role_tag": "role",
11.       "content_tag": "content",
12.       "user_tag": "user",
13.       "assistant_tag": "assistant"
14.     }
15.   },

复制代码

5 训练与评估模型

启动WebUI界面，我修改端口号为6006，由于AutoDL用的这个端口号

1. GRADIO_SERVER_PORT=6006  llamafactory-cli webui

复制代码

评估

6 在Qwen上使用LLaMA-Factory框架训练的模型

详细步骤看：09 使用LLaMA-Factory微调训练Qwen2-VL-7B-Qwen安装与模型测试：https://www.bilibili.com/video/BV1KkP8ehE37/
6.1 Qwen安装

https://github.com/QwenLM/Qwen2-VL

1. source /etc/network_turbo
2. git clone https://github.com/QwenLM/Qwen2-VL
3. cd Qwen2-VL
4. pip install qwen-vl-utils[decord]
5. pip install transformers
6. pip install 'accelerate>=0.26.0'

复制代码

6.2 评估

https://github.com/Whiffe/via2yolo/tree/main/BNU/LLM/Evaluate

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。