IT评测·应用市场-qidao123.com技术社区

标题: 多模态基础模型练习笔记-第一篇InternVL-g [打印本页]

作者: 王國慶 时间: 2025-2-16 19:43
标题: 多模态基础模型练习笔记-第一篇InternVL-g
一、TL；DR

二、标题记录

照旧注意镜像的选择，选择社区最火的镜像，然后下载好对应的数据，重要显卡的选择，这个时候4090已经带不动了，必须选择32G的V100大概40G的A100了：
2.1 train_head:

batchsize=32

这里其实是代码有点小迷惑点哈，你选择4卡4090其实是没标题的，他会选择平摊显存，但是单卡的话，它会将所有的现存都堆到第一张卡内里去，设计上大概有点标题，显卡占用环境如下所示：

具体的实现自己去看代码吧
2.2 train_lora:

使用lora的练习方法显着是不同的，练习参数量如下所示：

loss的数值如下所示：

基本上内存也已经吃满了：

将batchsize设为16，则显存占用如下所示：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)