LLaMA-Factory部署、自定义数据集、模型微调、模型调用（NVIDIA） ...

项目所在：
https://github.com/hiyouga/LLaMA-Factory.git

https://github.com/hiyouga/LLaMA-Factory.git
项目已经有比较完善步调，但有几个点容易出错。

情况配置

起首用Anaconda创建个情况，因为必要安装许多额外的包，并且pytorch版本和cuda也不肯定对。
conda情况使用基本下令：

1. conda update -n base conda              #update最新版本的conda
3. conda create -n xxxx python=3.10         #创建python3.5的xxxx虚拟环境
5. conda activate xxxx                     #开启xxxx环境
7. conda deactivate                        #关闭环境
9. conda env list                          #显示所有的虚拟环境
11. conda info --envs                       #显示所有的虚拟环境
13. conda remove -n xxxx --all              #删除xxxx虚拟环境
15. conda list                              #查看已经安装的文件包
17. conda list -n xxx                       #指定查看xxx虚拟环境下安装的package
19. conda update xxx                        #更新xxx文件包
21. conda uninstall xxx                     #卸载xxx文件包

复制代码

用项目自带的requirements.txt文件先配置一下情况（配置完也不肯定能用，但能配置大部分）

1. pip install -r requirements.txt

复制代码

然后先将requirements.txt文件自动配置的torch卸载掉

1. conda uninstall torch

复制代码

然后查看自己cuda最高版本和当前版本

1. nvidia-smi

复制代码

下面是查看当前cuda版本（但这个不重要，因为咱们要在conda情况中安装）

1. nvcc -V

复制代码

图1

图2

图1中是当前驱动和最大CUDA版本，
图2中是限定条件CUDA最少要求11.6不然运行时会提示没有CUDA情况
但CUDA最大版本又受NVIDIA显卡驱动版本影响

下面是安装驱动参考链接：保举使用software & updates直接安装（省事）
【亲测有效】Linux系统安装NVIDIA显卡驱动_linux安装nvidia显卡驱动-CSDN博客
ubuntu18.04安装显卡驱动（四种方式）-CSDN博客

差别 nvidia-driver 版本大抵对应的 CUDA 版本，不外现实的对应关系大概会受操作系统、硬件等因素影响，你可以参考 NVIDIA 官方 CUDA 兼容性矩阵 获取最正确信息：

1. 1. nvidia-driver-390
2. 此驱动系列支持的 CUDA 版本上限为 CUDA 10.1 ，同时也能向下兼容较旧的 CUDA 版本，像 CUDA 9.x 等。
4. 2. nvidia-driver-470
5. 该驱动系列支持 CUDA 11.4 至 CUDA 11.7 。能较好适配基于 CUDA 11 系列开发的应用程序。
7. 3. nvidia-driver-510
8. 支持 CUDA 11.6 到 CUDA 11.8 。此驱动版本是 CUDA 11 系列持续优化阶段的产物，可确保在这些 CUDA 版本下硬件的稳定运行。
10. 4. nvidia-driver-515
11. 支持 CUDA 11.7 到 CUDA 11.8 。是从 CUDA 11 系列向更新版本过渡阶段的重要驱动版本，对 CUDA 11 的后期版本兼容性良好。
13. 5. nvidia-driver-525
14. 支持 CUDA 12.0 及部分后续版本。它是为适应新的 CUDA 12 架构和特性而推出的驱动版本，开始支持 CUDA 12 引入的新功能。
16. 6. nvidia-driver-530
17. 支持 CUDA 12.1 及后续部分版本。随着 CUDA 技术的发展，该驱动进一步适配了新的 CUDA 特性和优化。

复制代码

然后安装PyTorch记着要安装GPU版本的

在假造情况中想要测试是否安装成功，不能使用nvcc -V下令测试，必要在假造情况中安装pytorch包进行测试。

1. # 虚拟环境中，进入python环境
2. import torch
4. # 查看pytorch版本
5. print(torch.__version__)
7. # cuda是否可用
8. print(torch.cuda.is_available())
10. # cuda版本
11. print(torch.version.cuda)
13. # cudnn版本
14. print(torch.backends.cudnn.version())

复制代码

运行测试

这时候尝试启动一下（web界面方式）

1. llamafactory-cli webui

复制代码

这时候大概会报一个错误：llamafactory-cli: command not found
执行这个

1. pip install -e .[metrics]

复制代码

再运行一下，就能看到web界面了。

但注意执行前要注意一下自己内存，nvidia-smi，不然大概因内存不足启动失败

自定义数据集 

详细用什么数据集要看自己的详细需求，我接纳的是Alpaca 格式，必要将配置文件放到data目录下，并在dataset_info.json文件中添加数据集路径，详情参考下方链接：
参考链接：LLaMA-Factory|微调大语言模型初探索(2)，练习自己的谈天机器人_ai 练习 数据集 参数 阐明 "instruction":"","input":"""output-CSDN博客

假如数据集是sharegpt ，那数据集格式比较严酷，在dataset_info.json文件中添加

1. 示例：这是在dataset_info.json中添加格式
3. "dataset_name": {
4.   "file_name": "data.json",
5.   "formatting": "sharegpt",
6.   "columns": {
7.     "messages": "conversations",
8.     "system": "system",
9.     "tools": "tools"
10.   }
11. }
13. # system和tools是可选的，可以不添加

复制代码

1. 示例：这是sharegpt 格式数据集，必须符合格式，不然运行报错
3. [
4.   {
5.     "conversations": [
6.       {
7.         "from": "human",
8.         "value": "human instruction"
9.       },
10.       {
11.         "from": "function_call",
12.         "value": "tool arguments"
13.       },
14.       {
15.         "from": "observation",
16.         "value": "tool result"
17.       },
18.       {
19.         "from": "gpt",
20.         "value": "model response"
21.       }
22.     ],
23.     "system": "system prompt (optional)",
24.     "tools": "tool description (optional)"
25.   }
26. ]
28. # 用户和模型键值必须是 "from": "human" 和 "from": "gpt"不然也报错，具体看说明，同样system和tools
29.   也可选，但必须和dataset_info.json中匹配

复制代码

参考链接：
https://github.com/hiyouga/LLaMA-Factory/tree/main/data


开始微调

设置完自定义数据集后轻微调整参数，开始微调，注意微调时本地无模型时会先下载模型，速率很慢，发起先下载到本地。
模型下载所在，这是国内镜像，下载很快：
HF-Mirror加快访问Hugging Face的流派。作为一个公益项目，我们致力于提供稳固、快速的镜像服务，资助国内用户无停滞访问Hugging Face的资源。

https://hf-mirror.com

微调完后就能看到“存储的目录”，这整个文件夹是整个微调后的模型

微调后模型合并

把练习的LoRA和原始的大模型进行融合，输出一个完整的模型文件

1. CUDA_VISIBLE_DEVICES=0 llamafactory-cli export \
2.     --model_name_or_path xxx/xxx/xxx \                    #原始大模型所在文件夹路径
3.     --adapter_name_or_path xxx/xxx/xxx  \                 #微调后大模型所在文件夹路径
4.     --template llama3 \                                   
5.     --finetuning_type lora \                              #微调类型
6.     --export_dir megred-model-path \                      #合并后模型存储路径
7.     --export_size 2 \
8.     --export_device cpu \
9.     --export_legacy_format False

复制代码

 合并完是如许的
 

参考链接：
LLaMA-Factory QuickStart - 知乎

ollama调用微调后的模型

方法一：使用Llama.cpp

通过LlaMA-Factory导出的模型与Ollama所需格式有区别，必要借助Llama.cpp的代码进行转换。
仓库所在：https://github.com/ggerganov/llama.cpp
安装依赖

1. pip install -r requirements.txt

复制代码

转换下令

1. python convert_hf_to_gguf.py xxx/xxx/xxx \    #上面转换完模型路径
2. --outfile /xxx/xxx/xxx.gguf \                 #要导出的gguf文件路径和名称
3. --outtype q8_0                                #模型精度：可选f32/f16/q8_0等

复制代码

运行代码后会把safetensors格式转换为gguf格式，接下来创建Modelfile，用于将模型导入Ollama中，Modelfile文件中写下面内容，gguf文件所在路径：

1. FROM /xxx/xxx/xxx.gguf

复制代码

在ollama中创建模型：

1. ollama create model_name -f /path/to/Modelfile

复制代码

查看模型是否创建：

1. ollama list

复制代码

创建成功就会看到你创建的模型名称。

方法二：使用LLaMA-Factory的export（保举）

这相称于微调后模型合并和调用微调后的模型的结合版，更方便快捷

导出完模型，已经自动天生Modelfile文件了，可被ollama直接添加

然后在ollama中创建模型就行了

1. ollama create xxx_name -f ./Modelfile  #xxx_name是自定义模型名字

复制代码

参考链接：
LLaMA-Factory+Ollama：本地部署大模型流程详解-CSDN博客

llama-factory别的参数使用时库安装

例如：bitsandbytes等，必要安装库，还是发起用：

1. pip install -e .[bitsandbytes]

复制代码

自己安装非常容易出现，各库之间不兼容，或是与cuda版本不兼容。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。