Llama-factory的yaml设置参数--学习纪录 - qidao123.com技术社区-IT企服评测·应用市场

# 可选参数
# 模型和适配器相关
--adapter_name_or_path # 描述: 适配器的名称或路径。
--adapter_folder # 描述: 适配器文件夹路径。
--cache_dir # 描述: 缓存目录。
--use_fast_tokenizer / --no_use_fast_tokenizer # 描述: 是否使用快速分词器。
--resize_vocab # 描述: 是否调整词汇表大小。
--split_special_tokens # 描述: 是否拆分特殊标记。
--new_special_tokens # 描述: 新的特殊标记。
--model_revision # 描述: 模型修订版本。
--low_cpu_mem_usage / --no_low_cpu_mem_usage # 描述: 是否使用低 CPU 内存。
# 量化和推理相关
--quantization_method {bitsandbytes,hqq,eetq} # 描述: 量化方法。
--quantization_bit # 描述: 量化位数。
--quantization_type {fp4,nf4} # 描述: 量化类型。
--double_quantization / --no_double_quantization # 描述: 是否进行双重量化。
--quantization_device_map {auto} # 描述: 量化设备映射。
--rope_scaling {linear,dynamic} # 描述: ROPE 缩放。
--flash_attn {auto,disabled,sdpa,fa2} # 描述: 闪存注意力设置。
--shift_attn # 描述: 是否移位注意力。
--mixture_of_depths {convert,load} # 描述: 深度混合策略。
--use_unsloth # 描述: 是否使用 Unsloth。
--visual_inputs # 描述: 是否包含视觉输入。
# 训练相关
--moe_aux_loss_coef # 描述: MOE 辅助损失系数。
--disable_gradient_checkpointing # 描述: 是否禁用梯度检查点。
--upcast_layernorm # 描述: 是否上转换 LayerNorm。
--upcast_lmhead_output # 描述: 是否上转换 LM 头输出。
--train_from_scratch # 描述: 是否从头开始训练。
--infer_backend {huggingface,vllm} # 描述: 推理后端。
--vllm_maxlen # 描述: vLLM 最大长度。
--vllm_gpu_util # 描述: vLLM GPU 利用率。
--vllm_enforce_eager # 描述: 是否强制启用 eager 模式。
--vllm_max_lora_rank # 描述: vLLM 最大 LoRA 排名。
--offload_folder # 描述: 离线文件夹路径。
--use_cache / --no_use_cache # 描述: 是否使用缓存。
--infer_dtype {auto,float16,bfloat16,float32} # 描述: 推理数据类型。
--hf_hub_token # 描述: Hugging Face Hub 令牌。
--ms_hub_token # 描述: ModelScope Hub 令牌。
# 导出相关
--export_dir # 描述: 导出目录。
--export_size # 描述: 导出大小。
--export_device {cpu,auto} # 描述: 导出设备。
--export_quantization_bit # 描述: 导出量化位数。
--export_quantization_dataset # 描述: 导出量化数据集。
--export_quantization_nsamples # 描述: 导出量化样本数。
--export_quantization_maxlen # 描述: 导出量化最大长度。
--export_legacy_format # 描述: 是否导出为遗留格式。
--export_hub_model_id # 描述: 导出到 Hub 的模型 ID。
--print_param_status # 描述: 是否打印参数状态。
# 数据和训练配置
--template # 描述: 数据模板。
--dataset # 描述: 数据集名称。
--dataset_dir # 描述: 数据集目录。
--split # 描述: 数据集拆分。
--cutoff_len # 描述: 截断长度。
--train_on_prompt # 描述: 是否在提示上训练。
--streaming # 描述: 是否启用流式传输。
--buffer_size # 描述: 缓冲区大小。
--mix_strategy {concat,interleave_under,interleave_over} # 描述: 数据混合策略。
--interleave_probs # 描述: 混合概率。
--overwrite_cache # 描述: 是否覆盖缓存。
--preprocessing_num_workers # 描述: 预处理工作线程数。
--max_samples # 描述: 最大样本数。
--eval_num_beams # 描述: 评估时使用的 beam 数量。
--ignore_pad_token_for_loss / --no_ignore_pad_token_for_loss # 描述: 是否在计算损失时忽略填充标记。
--val_size # 描述: 验证集大小。
--packing # 描述: 是否启用数据打包。
--neat_packing # 描述: 是否启用整洁打包。
--tool_format # 描述: 工具格式。
--tokenized_path # 描述: 分词后的数据路径。
# 训练过程控制
--overwrite_output_dir # 描述: 是否覆盖输出目录。
--do_train # 描述: 是否进行训练。
--do_eval # 描述: 是否进行评估。
--do_predict # 描述: 是否进行预测。
--eval_strategy {no,steps,epoch} # 描述: 评估策略。
--prediction_loss_only # 描述: 是否只计算预测损失。
--per_device_train_batch_size # 描述: 每个设备的训练批次大小。
--per_device_eval_batch_size # 描述: 每个设备的评估批次大小。
--per_gpu_train_batch_size # 描述: 每个 GPU 的训练批次大小。
--per_gpu_eval_batch_size # 描述: 每个 GPU 的评估批次大小。
--gradient_accumulation_steps # 描述: 梯度累积步数。
--eval_accumulation_steps # 描述: 评估累积步数。
--eval_delay # 描述: 评估延迟。
--learning_rate # 描述: 学习率。
--weight_decay # 描述: 权重衰减。
--adam_beta1 # 描述: Adam 优化器的 beta1 参数。

复制代码