LlamaFactory可视化微调大模型 - 参数详解
LlamaFactory 前言LLaMA Factory 是一个用于微调大型语言模型的强盛工具，特别是针对 LLaMA 系列模型。
可以顺应不同的模型架构和巨细。
支持多种微调技能，如全参数微调、LoRA（ Low-Rank Adaptation ）、QLoRA（ Quantized LoRA ）等。
还给我们提供了简单实用的命令行接口。
支持多 cpu 练习，多使命微调，另有各种内存优化技能，如梯度检查点、梯度累积等。
支持混合精度练习，进步练习效率。
本文不再赘述 LlamaFactory 的安装过程
LlamaFactory参数基本设置
打开我们 LlamaFactory 的 web 运行界面，进入根目次实行下列命令：
llamafactory-cli webui
看到下列界面
https://i-blog.csdnimg.cn/direct/b088e76972f34ecb85c90eb0af5849cd.png
在欣赏器打开我们开启的 webui 界面 http://127.0.0.1:7860：
https://i-blog.csdnimg.cn/direct/4abdd56d1bc74555891e706eed82e91c.png
我们依次来解释每个参数的选择：
这里是语言选择
选择 zh 即可。
https://i-blog.csdnimg.cn/direct/becdbd8f0f9b4bcbb8dad7771dd11e02.png
模型选择
选择适合自己的模型，这里都会从 Hugging Face 内里下载，
https://i-blog.csdnimg.cn/direct/718c8b5f16d44dd99f59f1b328d9ede6.png
这一步是自界说路径
一般就用选择好的默认路径即可。
https://i-blog.csdnimg.cn/direct/6f73d014154948ea9b8656dcb8df6398.png
微调方法：
这里有三种，full全参数微调， Freeze（冻结部分参数） LoRA&
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]