llamafactory-llama3微调中文数据集

一、界说

https://github.com/SmartFlowAI/Llama3-Tutorial/tree/main

• 基准模型测试
  
• opencompass 离线测评
  
• 数据预备
  
• 微调训练
  
• 合并
  
• 测试
  
• 人工考核对比
  

二、实现

• 基准模型测试
  基准模型 llama3-8b
  https://zhuanlan.zhihu.com/p/694818596?
  https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/opencompass.md
  https://github.com/InternLM/Tutorial/blob/camp2/data_fine_tuning/data_fine_tuning.md
  

1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli eval \
2. --model_name_or_path /home/Meta-Llama-3-8B-Instruct \
3. --template llama3 \
4. --task triviaqa \
5. --split validation \
6. --lang en \
7. --n_shot 5 \
8. --batch_size 1

复制代码

个人以为，虽然epoch=1 在标准指标中中文评估能力大于epoch=3,但人工考核过程中，epoch =3 在中文表达上更满意人的需求。随着训练轮次的增长，模型更倾向于表达中文。

• opencompass 离线测评
  部署见opencompass 配置篇
  

1. from mmengine.config import read_base
3. with read_base():
4.     from .datasets.mmlu.mmlu_gen_4d595a import mmlu_datasets
6. datasets = [*mmlu_datasets]
8. from opencompass.models import HuggingFaceCausalLM
10. batch_size = 20
11. # 指定评测模型
12. model_name_or_paths = [                              #可以多个模型
13.     '/home/Meta-Llama-3-8B-Instruct'
14. ]
15. models = []   #模型以及配置放于列表中
17. for model_name_or_path in model_name_or_paths:
18.     abbr = model_name_or_path.split('/')[-1]
19.     model = dict(
20.         type=HuggingFaceCausalLM,
21.         abbr=abbr,
22.         path=model_name_or_path,
23.         tokenizer_path=model_name_or_path,
24.         tokenizer_kwargs=dict(padding_side='left',
25.                               truncation_side='left',
26.                               use_fast=False,
27.                               trust_remote_code=True
28.                               ),
29.         max_out_len=1024,
30.         max_seq_len=2048,
31.         batch_size=batch_size,
32.         model_kwargs=dict(device_map='auto', trust_remote_code=True),
33.         batch_padding=False,  # if false, inference with for-loop without batch padding
34.         run_cfg=dict(num_gpus=2, num_procs=2),
35.     )
36.     models.append(model)
37.    
38. # python run.py configs/eval_llama3_8b_demo.py

复制代码

• 数据预备
  https://github.com/InternLM/Tutorial/blob/camp2/data_fine_tuning/data_fine_tuning.md
  https://modelscope.cn/datasets/baicai003/Llama3-Chinese-dataset/summary
  https://huggingface.co/datasets/m-a-p/COIG-CQIA
  

1. import datasets
2. data=datasets.load_dataset("llamafactory/alpaca_gpt4_zh")
3. data=data["train"]
4. res=[]
5. for i in range(len(data)):
6.     res.append(data[i])
7. import json
8. with open('alpaca_gpt4_zh.json', 'w',encoding="utf8") as file:
9.     # 使用缩进格式化输出 JSON 数据
10.     json.dump(res, file, indent=4,ensure_ascii=False)

复制代码

1. #42677
2. "alpaca_gpt4_zh_local": {
3.     "file_name": "alpaca_gpt4_zh.json"
4.   }
5.   
6.   #16493
7.   "Llama3-Chinese-dataset_local": {
8.     "file_name": "Llama3-Chinese-dataset.json"
9.   }
10.   #11262
11.     "COIG-CQIA_local": {
12.     "file_name": "COIG-CQIA.json"
13.   }
14.   #51983
15.   "alpaca_gpt4_en_local": {
16.     "file_name": "alpaca_gpt4_en.json"
17.   }

复制代码

• 微调训练
  

1. #lora 双卡微调
2. CUDA_VISIBLE_DEVICES=0,1 nohup llamafactory-cli train \
3.     --stage sft \
4.     --do_train \
5.     --model_name_or_path /home/Meta-Llama-3-8B-Instruct \
6.     --dataset alpaca_gpt4_zh_local,Llama3-Chinese-dataset_local,COIG-CQIA_local,alpaca_gpt4_en_local  \
7.     --dataset_dir ./data \
8.     --template llama3 \
9.     --finetuning_type lora \
10.     --output_dir ./saves/LLaMA3-8B/lora/sft \
11.     --overwrite_cache \
12.     --overwrite_output_dir \
13.     --cutoff_len 1024 \
14.     --preprocessing_num_workers 16 \
15.     --per_device_train_batch_size 4 \
16.     --per_device_eval_batch_size 2 \
17.     --gradient_accumulation_steps 8 \
18.     --lr_scheduler_type cosine \
19.     --logging_steps 50 \
20.     --warmup_steps 20 \
21.     --save_steps 100 \
22.     --eval_steps 50 \
23.     --evaluation_strategy steps \
24.     --load_best_model_at_end \
25.     --learning_rate 5e-5 \
26.     --num_train_epochs 3.0 \
27.     --val_size 0.1 \
28.     --plot_loss \
29.     --fp16> output.log 2>&1 &

复制代码

1. #3 个epoch 有些过拟合，采用1个epoch
2. CUDA_VISIBLE_DEVICES=0,1 nohup llamafactory-cli train \
3.     --stage sft \
4.     --do_train \
5.     --model_name_or_path /home/Meta-Llama-3-8B-Instruct \
6.     --dataset alpaca_gpt4_zh_local,Llama3-Chinese-dataset_local,COIG-CQIA_local,alpaca_gpt4_en_local  \
7.     --dataset_dir ./data \
8.     --template llama3 \
9.     --finetuning_type lora \
10.     --output_dir ./saves/LLaMA3-8B/lora/sft_1 \
11.     --overwrite_cache \
12.     --overwrite_output_dir \
13.     --cutoff_len 1024 \
14.     --preprocessing_num_workers 16 \
15.     --per_device_train_batch_size 4 \
16.     --per_device_eval_batch_size 2 \
17.     --gradient_accumulation_steps 8 \
18.     --lr_scheduler_type cosine \
19.     --logging_steps 50 \
20.     --warmup_steps 20 \
21.     --save_steps 100 \
22.     --eval_steps 50 \
23.     --evaluation_strategy steps \
24.     --load_best_model_at_end \
25.     --learning_rate 5e-5 \
26.     --num_train_epochs 1.0 \
27.     --val_size 0.1 \
28.     --plot_loss \
29.     --fp16> output.log 2>&1 &

复制代码

• 合并
  

1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli export \
2.     --model_name_or_path /home/Meta-Llama-3-8B-Instruct \
3.     --adapter_name_or_path ./saves/LLaMA3-8B/lora/sft  \
4.     --template llama3 \
5.     --finetuning_type lora \
6.     --export_dir megred-model-path-1 \
7.     --export_size 2 \
8.     --export_device cpu \
9.     --export_legacy_format False

复制代码

• 测试
  微调后：
  

1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli chat \
2.     --model_name_or_path megred-model-path  \
3.     --template llama3

复制代码

微调前：

1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli eval \
2. --model_name_or_path megred-model-path \
3. --template llama3 \
4. --task mmlu \
5. --split validation \
6. --lang en \
7. --n_shot 5 \
8. --batch_size 1

复制代码

7. 人工考核对比

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。