[论文笔记] llama-factory 微调qwen2.5、llama3踩坑

一、bug

1、pre-tokenize的时候, 会OOM

解决：在yaml文件中添加streaming参数

1. # tokenize
2. streaming: True
3. max_steps: 10000

复制代码

https://github.com/hiyouga/LLaMA-Factory/blob/3a023bca2a502810a436cfba7708df164754ea62/src/llamafactory/hparams/data_args.py#L39-L41
     streaming: bool = field(
         default=False,
         metadata={"help": "Enable dataset streaming."},
     max_steps: 10000
<

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。