多模态基础模型练习笔记-第一篇InternVL-g

一、TL；DR

• 将之前所有练习过的大模型的过程都总结和回想一下，遇到的坑别忘了
  

二、标题记录

照旧注意镜像的选择，选择社区最火的镜像，然后下载好对应的数据，重要显卡的选择，这个时候4090已经带不动了，必须选择32G的V100大概40G的A100了：
2.1 train_head:

batchsize=32

这里其实是代码有点小迷惑点哈，你选择4卡4090其实是没标题的，他会选择平摊显存，但是单卡的话，它会将所有的现存都堆到第一张卡内里去，设计上大概有点标题，显卡占用环境如下所示：

具体的实现自己去看代码吧
2.2 train_lora:

使用lora的练习方法显着是不同的，练习参数量如下所示：

loss的数值如下所示：

基本上内存也已经吃满了：

将batchsize设为16，则显存占用如下所示：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。