在阿里云上用LLaMA-Factory微调大模型

相信许多小同伴都想自己手搓大模型，所以有大佬做了LLaMA-Factory，但是有工具还不行，还得有环境，说真话，我现在每天除了上班就是带孩子，连游戏都没得打，所以自己连个有GPU的电脑都没[苦笑]。
基于以上条件条件，唯一方法只得通过云服务来帮我们微调大模型。
首先，我尝试用谷歌的Colab去跑，这个脚本LLaMA-Factory已经给写好了，但是题目是谷歌Colab免费版太渣，一天就给用半小时，你感受过微调到一半服务不给用的尴尬吗？
然后，我尝试找国内平替，比如Openl启智社区，用下来感觉欠好用，你们可以去试试
​openi.pcl.ac.cn/

http://​openi.pcl.ac.cn/
最后，找到了阿里云，有个DSW的服务，类似谷歌的Colab，现在可以免费包3个月，让你短期恣意手搓大模型，注意这个PAI下面只有DSW是有免费试用，不要尝试去用别的，不要问我怎么知道的。。
阿里云上云优选，实惠共享阿里云发布经济型e实例，开发者/初创企业首选云服务器，性能可升级，低价可持续，续费不涨价！

https://www.aliyun.com/daily-act/ecs/activity_selection?userCode=lcpt2xut
什么是DSW_人工智能平台 PAI(PAI)-阿里云帮助中心DSW（Data Science Workshop）是为算法开发者量身打造的一站式AI开发平台，集成了JupyterLab、WebIDE、Terminal多种云端开发环境，提供代码编写、调试及运行的沉浸式体验。DSW提供丰富的异构盘算资源，支持挂载OSS、NAS、CPFS类型的数据集，预置了多种开源框架的镜像，支持实例的生命周期管理，实现开箱即用的高效开发模式。

https://help.aliyun.com/zh/pai/user-guide/dsw-overview?source=5176.11533457&userCode=lcpt2xut好了，工具找到了，下面开始搞事情。


1.创建实例
注意肯定要选免费试用的资源，比如镜像，GPU之类

进入DSW界面，看是不是跟Colab挺像，然后把Colab的脚本拷过来，改把改把

2.微调大模型
不知道为什么阿里云跑LLaMA-Factory WebUI总报错，说是gradio缺少frpc_linux_amd64_v0.2，下载的话又下不动，本地下认为是病毒，太搞了，所以放弃WebUI直接命令行吧。
还有个很普遍的题目是，Huggingface对国内不友好，阿里云下模型基本下不动，所以只能尝试用modelscope. 固然LLaMA-Factory的大佬也设置了modelscope选项，但尝试直接设置环境变量欠好使。
最终，只能修改LLaMA-Factory的源代码，在\src\llmtuner\extras下直接改成只从modelscope下模型就好了，下载速率还挺快。
还有这些参数，可能跟WebUI上的不一样，需要注意

然后就是Cell by Cell跑就行了


3.微调效果
我拿了个Beautiful中国话数据集，训练出来性情好冲[苦笑]

最后，实行merge和export之类操作，就大功告成了！
最后给自己的星球打个广告
https://t.zsxq.com/CzLTi

https://t.zsxq.com/CzLTi

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。