使用LLaMA-Factory微调训练Qwen2-VL-7B与视觉大模型数据集制作流程
0 相关资料b站视频：
01 视觉大模型数据集制作流程 qwen2-vl：https://www.bilibili.com/video/BV1opPueXEix/
02 使用LLaMA-Factory微调训练Qwen2-VL-7B-环境安装-模型下载：https://www.bilibili.com/video/BV1DjPheTEsF/
03 使用LLaMA-Factory微调训练Qwen2-VL-7B-数据集：https://www.bilibili.com/video/BV1DjPheTE7e/
04 使用LLaMA-Factory微调训练Qwen2-VL-7B-模型测试：https://www.bilibili.com/video/BV1Q5PheBEAk/
05 使用LLaMA-Factory微调训练Qwen2-VL-7B-模型训练前准备：https://www.bilibili.com/video/BV1D5PheBEGB/
06 使用LLaMA-Factory微调训练Qwen2-VL-7B-模型训练：https://www.bilibili.com/video/BV1Q5PheBENS/
07 使用LLaMA-Factory微调训练Qwen2-VL-7B-模型训练导出与样例测试：https://www.bilibili.com/video/BV1D5PheBEKc/
08 使用LLaMA-Factory微调训练Qwen2-VL-7B-Qwen安装与模型测试：https://www.bilibili.com/video/BV1TkP8ehEMs/
09 使用LLaMA-Factory微调训练Qwen2-VL-7B-Qwen安装与模型测试：https://www.bilibili.com/video/BV1KkP8ehE37/
10 使用LLaMA-Factory微调训练Qwen2-VL-7B-Qwen测试结果：https://www.bilibili.com/video/BV1FRP8epEhW/
github: https://github.com/Whiffe/via2yolo/tree/main/BNU/LLM
LLaMA-Factory微调qwen2-VL(无sudo)_：https://ljw030710.github.io/2024/12/13/LLaMA-Factory%E5%BE%AE%E8%B0%83qwen2-VL-%E6%97%A0sudo/
【项目实战】通过LLaMaFactory+Qwen2-VL-2B微调一个多模态医疗大模型：https://developer.aliyun.com/article/1643200
使用llama-factory框架下的QWEN2-VL-2B-Instruct跑通图像指令数据集（学习记载）https://blog.csdn.net/2301_80247435/article/details/143678295
1 LLaMA-Factory环境安装
在AutoDL上举行快速部署
基础镜像选择
https://i-blog.csdnimg.cn/direct/4688835959a1453f8cbeb17f291e7652.png
https://i-blog.csdnimg.cn/direct/f620d7d04e2442beab56149542af102d.png
基础环境
LLaMA-Factory 安装
source /etc/network_turbo
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e "."
# 检查环境是否安装成功。
llamafactory-cli version
https://i-blog.csdnimg.cn/direct/8cd82445c0554170833281890944c8fa.png
启动WebUI界面，我修改端口号为6006，由于AutoDL用的这个端口号
GRADIO_SERVER_PORT=6006llamafactory-cli webui
https://i-blog.csdnimg.cn/direct/ad40b26a0b59476aabb4e93124389928.png
2 模型下载
模型地点
https://www.modelscope.cn/Qwen/Qwen2-VL-7B-Instruct
source /etc/network_turbo
pip install modelscope
接纳SDK方式下载
from modelscope import snapshot_download
# 指定模型的下载路径
cache_dir = '/root/autodl-tmp/'
# 调用 snapshot_download 函数下载模型
model_dir = snapshot_download('Qwen/Qwen2-VL-7B-Instruct', cache_dir=cache_dir)
print(f"模型已下载到: {model_dir}")
https://i-blog.csdnimg.cn/direct/59b277b3db3e4c0ea64b9eb54ff58eb6.png
3 模型测试
测试当前模型
https://i-blog.csdnimg.cn/direct/5d49793ddc3249a7a04639ed78a36904.png
https://i-blog.csdnimg.cn/direct/631c63d6dd3644eebf939a620df96636.png
4 视觉大模型数据集制作流程
训练数据集的制作流程代码与视频：
https://github.com/Whiffe/via2yolo/tree/main/BNU/LLM/Dataset
视频：https://www.bilibili.com/video/BV1opPueXEix/
训练数据集
https://i-blog.csdnimg.cn/direct/ae98d924257a496c98e42ddd1097c8c0.png
https://i-blog.csdnimg.cn/direct/ce963eaa3b7f4edb8d3049ba59f6c1cc.png
[
{
"messages": [
{
"content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
"role": "user"
},
{
"content": "其他",
"role": "assistant"
}
],
"images": [
"Bridge_Behavior/0001_000049.jpg"
]
},
{
"messages": [
{
"content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
"role": "user"
},
{
"content": "放板子",
"role": "assistant"
}
],
"images": [
"Bridge_Behavior/0004_000005.jpg"
]
},
{
"messages": [
{
"content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
"role": "user"
},
{
"content": "放重物",
"role": "assistant"
}
],
"images": [
"Bridge_Behavior/0004_000008.jpg"
]
},
{
"messages": [
{
"content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
"role": "user"
},
{
"content": "其他",
"role": "assistant"
}
],
"images": [
"Bridge_Behavior/0004_000063.jpg"
]
},
{
"messages": [
{
"content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
"role": "user"
},
{
"content": "测距离",
"role": "assistant"
}
],
"images": [
"Bridge_Behavior/0018_000004.jpg"
]
},
{
"messages": [
{
"content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
"role": "user"
},
{
"content": "记数据",
"role": "assistant"
}
],
"images": [
"Bridge_Behavior/0018_000009.jpg"
]
},
{
"messages": [
{
"content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
"role": "user"
},
{
"content": "放重物",
"role": "assistant"
}
],
"images": [
"Bridge_Behavior/0018_000053.jpg"
]
},
{
"messages": [
{
"content": "<image>学生在做什么?请在以下类别中进行选择：测距离/放板子/放重物/称重物/记数据/其他",
"role": "user"
},
{
"content": "其他",
"role": "assistant"
}
],
"images": [
"Bridge_Behavior/0018_000120.jpg"
]
}
]
修改LLaMA-Factory/data/dataset_info.json文件
添加如下内容：
https://i-blog.csdnimg.cn/direct/9cedee7bb6d04fbaabb913e671a0c519.png
"Bridge_Behavior": {
"file_name": "Bridge_Behavior.json",
"formatting": "sharegpt",
"columns": {
"messages": "messages",
"images": "images"
},
"tags": {
"role_tag": "role",
"content_tag": "content",
"user_tag": "user",
"assistant_tag": "assistant"
}
},
5 训练与评估模型
启动WebUI界面，我修改端口号为6006，由于AutoDL用的这个端口号
GRADIO_SERVER_PORT=6006llamafactory-cli webui
https://i-blog.csdnimg.cn/direct/80ca449098e146cda15bccc3d79a0c24.png
https://i-blog.csdnimg.cn/direct/64e1964332884c49bd7ae8e9cfd58743.png
https://i-blog.csdnimg.cn/direct/1a6a1b2ce36d4f4d9a0387a0bb9ad1f0.png
https://i-blog.csdnimg.cn/direct/f65e5086edf04287a67d99aba191f89e.png
https://i-blog.csdnimg.cn/direct/db3c78484a504eb4be25de977340c941.png
https://i-blog.csdnimg.cn/direct/496d5d24e7324727bfb6cc5d5c0f0a56.png
https://i-blog.csdnimg.cn/direct/831a2cb9831a4faf9cd904935a038960.png
评估
https://i-blog.csdnimg.cn/direct/38828d6d261f4df0b8cb2b7f45099c5b.png
https://i-blog.csdnimg.cn/direct/5ad431c001ba46aa99ef423235949f6d.png
6 在Qwen上使用LLaMA-Factory框架训练的模型
详细步骤看：09 使用LLaMA-Factory微调训练Qwen2-VL-7B-Qwen安装与模型测试：https://www.bilibili.com/video/BV1KkP8ehE37/
6.1 Qwen安装
https://github.com/QwenLM/Qwen2-VL
source /etc/network_turbo
git clone https://github.com/QwenLM/Qwen2-VL
cd Qwen2-VL
pip install qwen-vl-utils
pip install transformers
pip install 'accelerate>=0.26.0'
6.2 评估
https://github.com/Whiffe/via2yolo/tree/main/BNU/LLM/Evaluate
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]