LlamaFactory可视化微调大模型 - 参数详解

LlamaFactory 前言

LLaMA Factory 是一个用于微调大型语言模型的强盛工具，特别是针对 LLaMA 系列模型。
可以顺应不同的模型架构和巨细。
支持多种微调技能，如全参数微调、LoRA（ Low-Rank Adaptation ）、QLoRA（ Quantized LoRA ）等。
还给我们提供了简单实用的命令行接口。
支持多 cpu 练习，多使命微调，另有各种内存优化技能，如梯度检查点、梯度累积等。
支持混合精度练习，进步练习效率。
本文不再赘述 LlamaFactory 的安装过程
LlamaFactory参数基本设置

打开我们 LlamaFactory 的 web 运行界面，进入根目次实行下列命令：

1. llamafactory-cli webui

复制代码

看到下列界面

在欣赏器打开我们开启的 webui 界面 http://127.0.0.1:7860：

我们依次来解释每个参数的选择：
这里是语言选择
选择 zh 即可。

模型选择
选择适合自己的模型，这里都会从 Hugging Face 内里下载，

这一步是自界说路径
一般就用选择好的默认路径即可。

微调方法：
这里有三种，full全参数微调， Freeze（冻结部分参数） LoRA&

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。