LLaMA Factory单机微调的实战教程

  各人好，我是herosunly。985院校硕士毕业，现担当算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池角逐第一名，CCF角逐第二名，科大讯飞角逐第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的看法。曾经辅导过多少个非盘算机专业的学生进入到算法行业就业。盼望和各人一起发展进步。
  本文重要介绍了使用LLaMA Factory对大模型举行单机微调的实战教程，盼望对学习大语言模型的同学们有所帮助。

  
1. 媒介

  近来有同学询问，是不是有简单易用的模型微调框架？思量到LLaMA Factor可以或许兼容各种大模型，尤其对新模型的兼容速度很快。比如就在Llama-3发布的三天之后，就实现了兼容，如下图所示：

  可以或许支持的模型、训练模块、模型模板具体如下所示：
    Model   Model size   Default module   Template         Baichuan   27B/13B   W_pack   baichuan2       BLOOM   560M/1.1B/1.7B/3B/7.1B/176B   query_key_value   -       BLOOMZ   560M/1.1B/1.7B/3B/7.1B/176B   query_key_value   -  
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。