各种AI工具和框架层出不穷,为开辟者和研究者提供了亘古未有的便利。当然了,也有困扰。尤其是对于动手能力越来越弱的中年油腻老步伐员来说,更是难上加难。听说,嗯,据师弟说,说LlamaFactory依附其独特的功能和优势,在AI范畴(他所下载的代码和工具里),引起了广泛的关注(能够调试通过的)。当然,由于硬件环境的缘故,他的3个6000卡不好用,大概是有点老了吧,导致固然能调试通过,但是运行一个开始就完了。
今天,我在自己这边的环境上,也尝试了,感觉还可以。有坑是天然的。
1、优点
一、高效的模子训练与调优
LlamaFactory在模子训练方面表现出了极高的效率。的确是快,比我用代码行和bash、jupyter都快多了。通过其提供的丰富的预训练模子和调优工具,用户可以快速地搭建起实用于自己任务的AI模子。在实际应用中,我发现LlamaFactory的训练速度明显快于之前的手搓方式,这重要得益于其界面上的组织。当然,底层优化的算法和高效的并行盘算能力我还没完全体会到。(代码方式我是体会到了)。此外,按理说的,LlamaFactory还支持多种硬件平台,包括CPU、GPU和TPU等,进一步提拔了训练的机动性和效率。但是我没有运行成功。这个就比较扯。
语言栏里,有中英(俄?),中英文切换一下,对于去代码里手搓还是有帮助的,可以更好的理解。反正我目前对于这所谓的适配器还没理解到位,盼望大神能指点一下,谢谢。
二、机动的模子定制与扩展
除了高效的训练性能,LlamaFactory还提供了机动的模子定制和扩展功能。用户可以根据自己的需求,轻松地调解模子的参数和结构,以适应不同的应用场景。听说,LlamaFactory能够成为了一个强大的“瑞士军刀”,无论是文本生成、图像辨认还是语音辨认等任务,都能通过简单的设置和调解实现精彩的性能。但是我这么一个新新手,还没相识那么深刻。
就这些设置,我都已经眼花缭乱了。
三、创新的Adapter技术
值得一提的是,LlamaFactory引入了创新的Adapter技术,这是一种轻量级的模子调解方法,可以在不改变原有模子结构的情况下,通过添加额外的网络层来适应新的任务。这种技术不仅生存了原有模子的泛化能力,还大大低沉了模子调优的复杂度和资本。听说,Adapter技术显著提拔了模子在新任务上的表现,能让人深刻体会到其实用性。但是我还是没搞明白。
好比共同着预览下令,我一下就明白了,之前的手搓bash就是如许的,但是问题在于,这个输出路径我大概看明白了,就是之前微调的时间输出的那个目录。那么,adapter的路径...又迷糊了,我也不会编辑Adapter啊。那,看来是要额外添加网络层的,这个其实更适合我来做后续的东西。加油吧。我的理解大概是如许,如果不对,大神请改正。至于怎么用adapter,学习过程中盼望大神们指点。再谢谢。
四、友好的用户界面与社区支持
LlamaFactory在用户体验方面也做得非常精彩。其提供了直观易用的图形化界面,使得用户无需深入相识复杂的底层技术,就能轻松上手并享受AI带来的便利。我如今就只是看的官方介绍,是从gitee上看的 grang/LLaMA-Factory。
2、修改数据集
重要就是数据集的设置,按照readme的介绍,修改就好了,重要就是dataset的json文件
因为大模子的确不是很好去看效果,我才开始就弄错了,但是也没有发现。
有一个地方,就是数据集要写成下面如许
我开始的时间用python写这个数据集文件,把output也写成了json,然后就出错了(我用的是cmd conda 运行的方式,原因也正是下面求助所示)
3、求助
如上面所看到的,我进行设置后,按理说应该是可以了。那么点“start”以后就应该可以跑起来了。事实上,并没有。
很礼帽的给我干出来一个告诫。但是我并没有感觉哪个地方需要设置多GPU啊。
而且,我手搓Bash的时间,single和mul 是两个不一样的sh,我翻了翻反面的代码,也没看明白应该在那里去设置。盼望路过的大神驻足,请指点迷津,谢三次
最后,我还是把那个预览代码拷贝到服务器上手动执行的,才成功。很奇怪,超出了我的学习范围。
祝大家天天都开心。。。。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |