LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录 ...

前言

  上篇文章记录了使用lora微调llama-1b，微调乐成，但是微调llama-8b显存爆炸，这次实验使用qlora来实验微调参数体量更大的大语言模型，看看64G显存的极限在哪里。
1.Why QLora?

• QLoRA 在模型加载阶段通过 4-bit 量化大幅减少了模型权重的显存占用。
  
• QLoRA 通过 反量化到 BF16 进行练习，在保持计算精度的同时，进一步节省显存和进步效率。
  
• QLoRA 在加载、练习、以及权重存储等多个方面都进行了优化，从而有用地减少了显存使用。
  总结：比Lora节省显存！！
  

2.LLaMA-Factory支持模型

如上图所示，这是LLaMA-Factory所有支持的大语言模型，你可以选择你感爱好的模型进行微调。
LLaMA-Factory
3.实验Llama-3.2-3B

• 下载Llama-3.2-3B-Instruct
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。