Llama-factory的yaml设置参数--学习纪录

近来llama-factory的设置参数有许多不懂的地方，整理了一些但也有大概有错，仅供大家参考。

1. # 可选参数
3. # 模型和适配器相关
4. --adapter_name_or_path  # 描述: 适配器的名称或路径。
5. --adapter_folder  # 描述: 适配器文件夹路径。
6. --cache_dir  # 描述: 缓存目录。
7. --use_fast_tokenizer / --no_use_fast_tokenizer  # 描述: 是否使用快速分词器。
8. --resize_vocab  # 描述: 是否调整词汇表大小。
9. --split_special_tokens  # 描述: 是否拆分特殊标记。
10. --new_special_tokens  # 描述: 新的特殊标记。
11. --model_revision  # 描述: 模型修订版本。
12. --low_cpu_mem_usage / --no_low_cpu_mem_usage  # 描述: 是否使用低 CPU 内存。
14. # 量化和推理相关
15. --quantization_method {bitsandbytes,hqq,eetq}  # 描述: 量化方法。
16. --quantization_bit  # 描述: 量化位数。
17. --quantization_type {fp4,nf4}  # 描述: 量化类型。
18. --double_quantization / --no_double_quantization  # 描述: 是否进行双重量化。
19. --quantization_device_map {auto}  # 描述: 量化设备映射。
20. --rope_scaling {linear,dynamic}  # 描述: ROPE 缩放。
21. --flash_attn {auto,disabled,sdpa,fa2}  # 描述: 闪存注意力设置。
22. --shift_attn  # 描述: 是否移位注意力。
23. --mixture_of_depths {convert,load}  # 描述: 深度混合策略。
24. --use_unsloth  # 描述: 是否使用 Unsloth。
25. --visual_inputs  # 描述: 是否包含视觉输入。
27. # 训练相关
28. --moe_aux_loss_coef  # 描述: MOE 辅助损失系数。
29. --disable_gradient_checkpointing  # 描述: 是否禁用梯度检查点。
30. --upcast_layernorm  # 描述: 是否上转换 LayerNorm。
31. --upcast_lmhead_output  # 描述: 是否上转换 LM 头输出。
32. --train_from_scratch  # 描述: 是否从头开始训练。
33. --infer_backend {huggingface,vllm}  # 描述: 推理后端。
34. --vllm_maxlen  # 描述: vLLM 最大长度。
35. --vllm_gpu_util  # 描述: vLLM GPU 利用率。
36. --vllm_enforce_eager  # 描述: 是否强制启用 eager 模式。
37. --vllm_max_lora_rank  # 描述: vLLM 最大 LoRA 排名。
38. --offload_folder  # 描述: 离线文件夹路径。
39. --use_cache / --no_use_cache  # 描述: 是否使用缓存。
40. --infer_dtype {auto,float16,bfloat16,float32}  # 描述: 推理数据类型。
41. --hf_hub_token  # 描述: Hugging Face Hub 令牌。
42. --ms_hub_token  # 描述: ModelScope Hub 令牌。
44. # 导出相关
45. --export_dir  # 描述: 导出目录。
46. --export_size  # 描述: 导出大小。
47. --export_device {cpu,auto}  # 描述: 导出设备。
48. --export_quantization_bit  # 描述: 导出量化位数。
49. --export_quantization_dataset  # 描述: 导出量化数据集。
50. --export_quantization_nsamples  # 描述: 导出量化样本数。
51. --export_quantization_maxlen  # 描述: 导出量化最大长度。
52. --export_legacy_format  # 描述: 是否导出为遗留格式。
53. --export_hub_model_id  # 描述: 导出到 Hub 的模型 ID。
54. --print_param_status  # 描述: 是否打印参数状态。
56. # 数据和训练配置
57. --template  # 描述: 数据模板。
58. --dataset  # 描述: 数据集名称。
59. --dataset_dir  # 描述: 数据集目录。
60. --split  # 描述: 数据集拆分。
61. --cutoff_len  # 描述: 截断长度。
62. --train_on_prompt  # 描述: 是否在提示上训练。
63. --streaming  # 描述: 是否启用流式传输。
64. --buffer_size  # 描述: 缓冲区大小。
65. --mix_strategy {concat,interleave_under,interleave_over}  # 描述: 数据混合策略。
66. --interleave_probs  # 描述: 混合概率。
67. --overwrite_cache  # 描述: 是否覆盖缓存。
68. --preprocessing_num_workers  # 描述: 预处理工作线程数。
69. --max_samples  # 描述: 最大样本数。
70. --eval_num_beams  # 描述: 评估时使用的 beam 数量。
71. --ignore_pad_token_for_loss / --no_ignore_pad_token_for_loss  # 描述: 是否在计算损失时忽略填充标记。
72. --val_size  # 描述: 验证集大小。
73. --packing  # 描述: 是否启用数据打包。
74. --neat_packing  # 描述: 是否启用整洁打包。
75. --tool_format  # 描述: 工具格式。
76. --tokenized_path  # 描述: 分词后的数据路径。
78. # 训练过程控制
79. --overwrite_output_dir  # 描述: 是否覆盖输出目录。
80. --do_train  # 描述: 是否进行训练。
81. --do_eval  # 描述: 是否进行评估。
82. --do_predict  # 描述: 是否进行预测。
83. --eval_strategy {no,steps,epoch}  # 描述: 评估策略。
84. --prediction_loss_only  # 描述: 是否只计算预测损失。
85. --per_device_train_batch_size  # 描述: 每个设备的训练批次大小。
86. --per_device_eval_batch_size  # 描述: 每个设备的评估批次大小。
87. --per_gpu_train_batch_size  # 描述: 每个 GPU 的训练批次大小。
88. --per_gpu_eval_batch_size  # 描述: 每个 GPU 的评估批次大小。
89. --gradient_accumulation_steps  # 描述: 梯度累积步数。
90. --eval_accumulation_steps  # 描述: 评估累积步数。
91. --eval_delay  # 描述: 评估延迟。
92. --learning_rate  # 描述: 学习率。
93. --weight_decay  # 描述: 权重衰减。
94. --adam_beta1  # 描述: Adam 优化器的 beta1 参数。

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。