IT评测·应用市场-qidao123.com技术社区

标题: [论文笔记] llama-factory 微调qwen2.5、llama3踩坑 [打印本页]

作者: 梦应逍遥 时间: 2024-12-13 22:11
标题: [论文笔记] llama-factory 微调qwen2.5、llama3踩坑
一、bug

1、pre-tokenize的时候, 会OOM

解决：在yaml文件中添加streaming参数

# tokenize
streaming: True
max_steps: 10000

复制代码

https://github.com/hiyouga/LLaMA-Factory/blob/3a023bca2a502810a436cfba7708df164754ea62/src/llamafactory/hparams/data_args.py#L39-L41
   streaming: bool = field(
      default=False,
      metadata={"help": "Enable dataset streaming."},
   max_steps: 10000
<

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)