ToB企服应用市场:ToB评测及商务社交产业平台

标题: LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录 [打印本页]

作者: 三尺非寒 时间: 5 天前
标题: LLaMA-Factory|微调大语言模型初探索(3)，qlora微调deepseek记录
前言

上篇文章记录了使用lora微调llama-1b，微调乐成，但是微调llama-8b显存爆炸，这次实验使用qlora来实验微调参数体量更大的大语言模型，看看64G显存的极限在哪里。
1.Why QLora?

QLoRA 在模型加载阶段通过 4-bit 量化大幅减少了模型权重的显存占用。
QLoRA 通过反量化到 BF16 进行练习，在保持计算精度的同时，进一步节省显存和进步效率。
QLoRA 在加载、练习、以及权重存储等多个方面都进行了优化，从而有用地减少了显存使用。
总结：比Lora节省显存！！

2.LLaMA-Factory支持模型

如上图所示，这是LLaMA-Factory所有支持的大语言模型，你可以选择你感爱好的模型进行微调。
LLaMA-Factory
3.实验Llama-3.2-3B

下载Llama-3.2-3B-Instruct

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)