新手利用llama-factory框架进行lora微调全过程实例+部分代码及指令（纯小白 ...

博主本为粉领毕业生，怎样是统计（数学）与某社科的联合，想科研还是得大着脑袋琢磨代码和模型。在微调大模型的过程中从0开始，最开始搞不懂终端、服务器、环境等概念，看不太明确脚本也不会debug，这期间踩过的坑和犯过的傻不少。
很多东西在实践上手之后才发现很多细节比想象中的要繁琐（固然也有大概是本人太倒霉了在整个微调过程中比别人都坎坷不少），所以打算写下这篇文章给一些同样必要做微调但比较小白的朋侪做个参考。从整个流程开始到小白进门时可以规避的坑，盼望能资助到大家顺遂应用实现微调，要是有大佬发现有问题存在也请指正
首先附上咱们要用来微调的框架（必要科学上网）
LLaMA-Factory 框架： link

  
一.租用服务器

服务器概念

相信很多人应该和我一样，在没有实操之前对服务器，power shell，虚拟环境等概念会觉得很生疏，检察网上的很多教程，有时候大佬们给出的代码都不知道在那里输入，这里为了便于理解简朴介绍一下这几个概念，下面涉及到相关内容的时候我也附上了自己的一些理解。 服务器相当于是一个别人电脑的终端，不外是linux操纵系统的，而power shell就是我们windows系统的终端，虚拟环境的话是我们可以在终端通过指令创建的，通常进行一个使命就对应创建一个虚拟环境。
租用保举

本人电脑没有卡，但是据同组有卡同学的反馈，用自己的PC微调还是够呛，所以建议直接上服务器。这里直接保举利用Autodl，操纵流程如下：
欣赏器搜刮——注册（可以进行学生认证）——算力市场——选择服务器租用
本人选的是4090，按量计费，按量计费的话就是开着几小时就按几小时收费，所以这么租的话要记得不用时关机，但缺点就是关机后想再用的时候大概没有空闲卡，就得排队。所以假如组里资金充裕可以包周或者月也行。

选好自己的需求后点击图片右下角租用，接下来的配置选择如图：

租用成功后在控制台可以看到自己的实例,点击jupyter lab就可以在服务器上操纵了

服务器操纵

点击jupyter lab之后会弹出这样子的界面

其中留意autodl-tmp是数据盘文件夹，autodl-pub是系统盘文件夹，后续我们的模型要下载在数据盘，下在系统盘的话很快就会满，又得重置系统。
玄色界面和windows的power shell其实很类似，不外这里是linux系统，相应的操纵要用linux系统指令 ，那么接下来我们就在此界面下进行进一步的操纵。
二.下载模型和数据集

环境配置

第一步要为我们的微调过程创建一个虚拟环境，避免将必要的包下载到终端产生包辩论的问题。虚拟环境其实就相当于是一个文件夹，内里有很多你这个环境要实验的使命必要的包/库。
代码示例

1. // 以下代码在服务器终端运行
2. #conda指令创建虚拟环境
3. conda create -n env_name python=3.10

复制代码

其中env_name 要替换成自己的环境名字，python=3.？表示这个环境中要用的python版本，也要根据实际环境创建。输入指令后第一阶段会出现要求回答y/n的请求，此时输入y然后回车，就开始创建环境，这个过程稍微必要一点时间，建议耐烦期待，最终创建成功后会出现warning，提示说不要把包装到base里。
第二步要进入虚拟环境中把LLaMA-Factory框架下载到数据盘中。
进入虚拟环境：

1. // 进入虚拟环境
2. conda activate env_name

复制代码

接着在虚拟环境中复制粘贴输入文章最开始给出的链接，github上的LLaMA-Factory项目中给出的安装指令，运行也必要肯定时间。竣事后会发现数据盘里多了个LLaMA- Factory的文件夹，我们接下来的使命都会在此框架下完成

1. // 进入LLaMA-Factory的文件下
2. /root/autodl-tmp/LLaMA-Factory

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。