本地部署LLaMA-Factory

1. 先容

LLaMA-Factory是一个专注于大模型训练、微调、推理和部署的开源平台。这个平台的设计目标是简化大模型的训练流程，加强模型微调能力，优化推理和部署体验，以及促进社区协作。LLaMA-Factory支持多种模型类型，包括LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi等，并提供了多种训练算法、运算精度、优化算法、加速算子和推理引擎。
LLaMA-Factory的特点包括：

• 无需编写代码即可在本地完成上百种预训练模型的微调。
  
• 提供了多个高条理抽象的调用接口和网页版工作台，方便用户使用。
  
• 支持多种微调方法，如LoRA、QLoRA等，允许用户根据特定任务需求对模型进行精细调解。
  
• 提供便捷的推理接口和部署工具，支持多种硬件情况和云服务平台。
  

别的，LLaMA-Factory还提供了一个全面的教程，涵盖了从情况搭建到模型训练评估的全过程。这个教程旨在帮助开辟者迅速浏览和实践项目涉及到的常见功能，包括原始模型直接推理、自界说数据集构建、基于LoRA的sft指令微调、动态合并LoRA的推理、批量猜测和训练效果评估、LoRA模型合并导出、一站式webui board的使用、API Server的启动与调用，以及大模型主流评测benchmark。
2. 部署LLaMA-Factory

2.1 查验硬件情况是否支持

在命令行窗口中输入如下命令，查看本身电脑的显卡配置信息。

1. nvidia-smi

复制代码

2.2 下载LLaMA-Factory

起首在本地必要部署的地方建好目录，用于将LLaMA-Factory下载到这个目录当中。然后使用如下的命令将LLaMA-Factory从仓库克隆到本地。

1. //github上克隆
2. git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
4. //gitee上克隆，如果本地在github上克隆遇到错误时，就切换到这个
5. git clone https://gitee.com/qzl9999/LLaMA-Factory.git

复制代码

实验完命令之后，可以看见本地的文件夹就有了 LLaMA-Factory文件夹。

2.3 创建LLaMA-Factory必要的假造情况

输入如下的命令创建情况，-n是必要创建的假造情况的名称，python后面是指定的python版本，建议使用3.10版本。

1. conda create -n llama_factory python=3.10

复制代码

在创建过程中，如果遇到如下图所示的情况后，输入y即可。 

看到如下图所示的输出后，则阐明已经创建乐成。

接下来就可以使用如下的命令使用情况。使用乐成后会看到前面出现假造情况的名字。

1. conda activate llama_factory

复制代码

 

2.4 安装必要的依赖
使用命令切换到该目录下之后，然后安装相关的依赖。

1. cd LLaMA-Factory
2. pip install -e ".[torch,metrics]"

复制代码

到这里阐明已经依赖已经安装乐成。 

安装乐成后使用如下命令查看是否安装乐成，如果看到对应的版本信息则阐明安装乐成。

1. llamafactory-cli version

复制代码

2.4 校验CUDA和Pytorch情况是否符合要求

在命令行中输入python进入Python操作界面，然后以此输入如下命令进行查看，如果辨认到了可用的GPU就可以进行后续操作，如果辨认不到，还必要继承处理情况问题，才能进行后续操作，否则可能会报错。查询结束之后，输入exit()，即可退出Python运行情况。

1. import torch
2. torch.cuda.current_device()
3. torch.cuda.get_device_name(0)
4. torch.__version__

复制代码

2.5 打开可视化微调界面。

输入下面的命令，然后就可以启动LLaMA-Factory，进入可视化界面。

1. llamafactory-cli webui

复制代码

3. 下载模型

我了解的有两个常用的下载模型的网站。
Models - Hugging Face，这个网站下载模型必要注册登录，我试了好频频没有注册乐成，如果可以注册乐成，可以选择这个。

模型库首页 · 魔搭社区 ，这个网站注册登陆后，也可以下载模型，而且速率还不慢。

这里的模型选择必要思量本身的显卡，为了能乐成运行，我选择的是Qwen2.5-3B-Instruct这个3B的模型。

点击模型文件后下载模型，然后复制下面的git命令，在命令行进行下载。

注意下载的模型还是要在原来的这个目录下。实验命令后就可以进行下载，耐烦等候下载完成即可。

出现如下界面，就阐明已经下载完成了。

4. 训练模型

在可视化界面训练模型之前，还必要进行一些配置。
4.1 模型和数据集配置

起首选择zh，将语言切换到中文，如许后续操作也方便。

然后模型名称就是刚才下载的模型的名称，由于模型是安装在LLaMA-Factory目录之下，以是模型路径直接使用文件夹的名字即可。

设置好如下图所示：

4.2 设置训练参数

起首选择一个数据集，恣意选择一个即可，然后设置学习率和训练轮数，可以按照图里的进行设置。至于其他的参数和设置，我还没有了解清楚，后续了解清楚了再写文章进行先容。

4.3 开始训练

设置好参数后，点击预览命令，就会以命令行的方式表现刚才的各种配置。关于这个命令还必要好好注意，后面如果不消可视化界面的话，都必要依靠命令行进行操作。然后点击开始按钮，就开始训练了。

点击开始训练后，稍等片刻，就可以看见对应的进度、图像和日志。

到这里，LLaMA-Factory工具就算是在本地乐成部署了。后续的内容还必要继承学习更新。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。