使用LLaMA-Factory微调Qwen2.5-0.5B实验记录

1.安装LLaMA-Factory

先在github上拉取项目代码

1. https://github.com/hiyouga/LLaMA-Factory.git

复制代码

进入项目目录

1. cd LLaMA-Factory

复制代码

创建虚拟环境

1. conda create -n factory python=3.11

复制代码

下载安装包

1. pip install -e ".[torch,metrics]"  

复制代码

2.启动 LLaMA-Factory前端页面

1. llamafactory-cli webui

复制代码

这里可能会报错，直接重新创建虚拟环境，按照流程重新安装：

1. RuntimeError: Failed to import trl.trainer.dpo_trainer because of the following error (look up to see its traceback):
2. cannot import name 'log' from 'torch.distributed.elastic.agent.server.api' (/opt/conda/lib/python3.10/site-packages/torch/distributed/elastic/agent/server/api.py)

复制代码

3.训练参数设置

 设置完成后点击开始

训练正常开始

训练过程中，丧失函数可以实现可视化

4.推理

接纳lora动态合并的方式，会加载基础模子并应用 LoRA 微调适配器，从而实现微调后的模子效果。

1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli chat  
2. --model_name_or_path /model/Qwen2.5-0.5B-Instruct/  
3. --adapter_name_or_path /LLaMA-Factory/LLaMA-Factory/saves/Qwen2.5-0.5B/lora/train_2024-11-13-16-17-06/checkpoint-186  
4. --template qwen

复制代码

推理效果正常 

 5.Lora权重合并

进入Lora合并的yaml文件夹下：

1. cd LLaMA-Factory/LLaMA-Factory/examples/merge_lora

复制代码

新建一个qwen2.5_lora_sft.yaml文件，仿照项目中的llama3_lora_sft.yaml，创建合并的yaml文件

1. ### model
2. model_name_or_path: /model/Qwen2.5-0.5B-Instruct  #基础模型路径
3. adapter_name_or_path: /LLaMA-Factory/LLaMA-Factory/saves/Qwen2.5-0.5B/lora/train_2024-11-14-09-03-29/checkpoint-321    #微调保存的Lora权重路径
4. template: qwen
5. finetuning_type: lora
7. ### export
8. export_dir: /model/Qwen2.5-0.5B-merge   #合并后模型文件导出路径
9. export_size: 2
10. export_device: cpu
11. export_legacy_format: false

复制代码

 进入到LLaMA-Factory根目录下，执行合并命令

1. llamafactory-cli export examples/merge_lora/qwen2.5_lora_sft.yaml

复制代码

 推理测试

1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli chat  
2. --model_name_or_path /model/Qwen2.5-0.5B-merge   
3. --template qwen

复制代码

有一个小问题，实验接纳的是刑法instruct数据集，发现接纳上面的动态lora合并推理效果似乎更好，有相识的朋侪还请帮忙解答，感谢！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。