IT评测·应用市场-qidao123.com技术社区

标题: LLaMA Factory单机微调的实战教程 [打印本页]

作者: 惊落一身雪 时间: 2024-8-18 10:09
标题: LLaMA Factory单机微调的实战教程
各人好，我是herosunly。985院校硕士毕业，现担当算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池角逐第一名，CCF角逐第二名，科大讯飞角逐第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的看法。曾经辅导过多少个非盘算机专业的学生进入到算法行业就业。盼望和各人一起发展进步。
本文重要介绍了使用LLaMA Factory对大模型举行单机微调的实战教程，盼望对学习大语言模型的同学们有所帮助。

1. 媒介

近来有同学询问，是不是有简单易用的模型微调框架？思量到LLaMA Factor可以或许兼容各种大模型，尤其对新模型的兼容速度很快。比如就在Llama-3发布的三天之后，就实现了兼容，如下图所示：

可以或许支持的模型、训练模块、模型模板具体如下所示：
Model Model size Default module Template Baichuan 27B/13B W_pack baichuan2 BLOOM 560M/1.1B/1.7B/3B/7.1B/176B query_key_value - BLOOMZ 560M/1.1B/1.7B/3B/7.1B/176B query_key_value -
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/)