使用LLaMA-Factory来实现微调ChatGLM-3B

前提：本文是使用阿里云的人工智能PAI平台的交互式建模（DSW）来进行的如下操纵
安装LLaMA-Factory

1. # 克隆项目
2. git clone https://github.com/hiyouga/LLaMA-Factory.git
4. # 安装项目依赖
5. cd LLaMA-Factory
6. pip install -r requirements.txt
7. pip install transformers_stream_generator bitsandbytes tiktoken auto-gptq optimum autoawq
8. pip install --upgrade tensorflow
9. pip uninstall flash-attn -y
11. # 运行
12. CUDA_VISIBLE_DEVICES=0 python src/train_web.py

复制代码

留意：如果启动后的界面显示error，则必要下载模型展示工具：

1. pip install "gradio>=3.38.0,<4.0.0"

复制代码

启动乐成后的界面：

训练集配置

自定义训练集

2. # 自定义数据集
3. [
4.     {
5.         "instruction": "用户指令（必填）",
6.         "input": "用户输入（选填）",
7.         "output": "模型回答（必填）",
8.         "system": "系统提示词（选填）",
9.         "history": [
10.             ["第一轮指令（选填）", "第一轮回答（选填）"],
11.             ["第二轮指令（选填）", "第二轮回答（选填）"]
12.         ]
13.     }
14. ]

复制代码

将自定义训练集放到LLaMA-Factory的data目次下，并在dataset_info.json文件中加入文件的SHA1值：

生成SHA1值：

1. Get-FileHash -Path "C:\path\to\your\file.ext" -Algorithm SHA1

复制代码

末了就可以在界面上瞥见自定义的数据集

微调方法

• full:微调解个模型。
  
• 冻结(freeze):冻结大多数模型参数，只微调少数参数。
  
• lora:冻结一些模型参数，只微调一些，但特别是在某些层上。
  

高级配置

        分为Train, Evaluate & Predict, Chat, 和Export 选项卡
Train选项

训练阶段

分为Pre-Training, Supervised Fine-Tuning, Reward Modeling, PPO, and DPO。我们在这里选择Supervised Fine-Tuning，可以进步特定任务的准确性
学习率

较高的学习率可以加速模型的学习，但过高的学习率可能会导致模型“跳过”最优解。速率过低会减慢学习速率。默认5e-5
丧失函数曲线：loss

丧失函数值越小，模型预测性能越好
Chat选项

根据对应的适配器导入训练好的模型，来进行测试
Export选项

填写导出到文件的目次位置来进行导出训练好的模型

结果图：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。