梦应逍遥 发表于 2024-12-13 22:11:08

[论文笔记] llama-factory 微调qwen2.5、llama3踩坑

一、bug

1、pre-tokenize的时候, 会OOM

解决：在yaml文件中添加streaming参数
# tokenize
streaming: True
max_steps: 10000 https://github.com/hiyouga/LLaMA-Factory/blob/3a023bca2a502810a436cfba7708df164754ea62/src/llamafactory/hparams/data_args.py#L39-L41
   streaming: bool = field(
         default=False,
         metadata={"help": "Enable dataset streaming."},
   max_steps: 10000
<

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: [论文笔记] llama-factory 微调qwen2.5、llama3踩坑