解决LLama Factory微调并量化大模子时cuda/pytorch/python/auto-gptq/vllm/ ...

        用LLama Factory的微调并导出大模子时.​由于很多模块如之间的依赖关系复杂很容易造成版本辩论,重要涉及到cuda/pytorch/python/auto-gptq/vllm的版本选择.我在AutoDL上经实验了(高,低)两种组合能正常运行LLama Factory,以下是具体说明. 
  一.硬件配置

    接纳租用云算力服务器方式:由于是基于大于1B的大模子需要硬件配置较高,租用算力服务器比如AutoDL算力云一小时也就1-2元左右,重要是图方便,当然也比自购显卡省钱.关于购买云服务网上较多教程,也不复杂,可自行购买不过每次记得要人走关机,不然会继续扣费.

       AutoDL服务器租用的时候一定要点"查看详情"查看一下红框内的参数选择,参数务必严格选择,若不一样一定要点击"更换"使之一样(这很重要!否则后续会很贫苦).
       我选择的是:RTX4090 ,PyTorch  2.1.0  ,Python  3.10(ubuntu22.04)  ,Cuda  12.1

二.情况配置

    情况配置很容易出现各种版本辩论,以下是已验证的(高,低)两种组合,可以按需要取其一安装.
   

• 高配组合:尽量往高版本靠,忽略官方要求.能正常运行(保举安装).
  
         版本组合:cuda12.4/pytorch2.5.1/python3.10/auto-gptq 0.7.1/vllm0.6.5
         安装方法:
                 pip install auto-gptq== 0.7.1  #一定要指定安装版本  
                 pip install vllm==0.6.5# 注意:vllm安装的同时,CUDA 12.1将被自动安装覆盖为                                    12.4版本,pytorch2.1.0将被自动安装覆盖为2.5.1版本,无须理会!!!
  
• 保守组合:均严格按照官方要求的支持的稳定版本.稳定性可能高些但性能可能低些.
          版本组合:cuda12.1/pytorch2.1.0/python3.10/auto-gptq0.5.1/vllm0.5.4
  
          安装方法: 
                 pip install auto-gptq==0.5.1 #一定要指定安装版本    
                 pip install vllm==0.5.4  # 注意:vllm安装的同时,CUDA 12.1和pytorch将被自
                                                          动再安装一次,无须理会!!!
  

               
  如许cuda /pytorch /python  /auto-gptq /vllm 基本情况就安装完了,且没有任何报错.
注意:你可以在安装后查抄cuda版本,建议用以下方式查看.

1. import torch
2. print(torch.__version__)

复制代码

    不要用nvcc --version和 nvidia-smi查看,否则你看到的版本不一样.
    由于在运行PyTorch时，实际利用的CUDA版本通常是PyTorch编译时所依赖的版本。比方，PyTorch表现的版本为2.5.1+cu124，但nvcc --version表现的却是CUDA 12.1版本即即CUDA Toolkit的版本。而PyTorch在运行时并不直接依赖nvcc，而是依赖于CUDA的动态链接库。只要系统上存在与PyTorch所依赖的CUDA 12.4版本兼容的动态链接库，PyTorch就能够正常运行。
     别的，nvidia-smi表现的是GPU驱动步伐能支持的CUDA运行时最高版本比如12.6。只要PyTorch的运行版本小于nvidia-smi表现的版本即就ok,比如12.4。

     还可以查看vllm的版本:pip show vllm 应该表现Version: 0.6.5或者0.5.4
以下是2个版本中的保守组合的依据,当然你忽略以下1,2,3,4的解释:

• AutoDL服务器的参数
  
  
  
• vLLM 中文站的资料   https://vllm.hyper.ai/docs/getting-started/installation/ 
  
  
  
• auto-gptq官网资料(科学上网):  https://blog.csdn.net/qq_42755230/article/details/144427660
  
  
  
• 其它资料:
  

              auto-gptq最高支持pytorch2.2.1,cuda12.1,厥后没更新了.
              vllm最高支持pytorch2.5.1版本v
              vLLM 包罗预编译的 C++ 和 CUDA (12.1) 二进制文件  Python：3.9 – 3.12
              vLLM 的二进制文件默认利用 CUDA 12.1 和公共 PyTorch 发行版本进行编译。
              vLLM在v0.5.2、v0.5.3和 v0.5.3.post1中，存在由 zmq 引起的错误.


三.微调大模子(lora)

•  安装LLaMA-Factory:先把AutoDL服务器开机，然后通过vscode去毗连服务器，通过vscode去毗连的好处是，vscode可以直接打开远程页面，由于vscode做了内网穿透.输入身份和密码后打开root目录。在终端输入如下指令即可下载和安装LLaMA-Factory:
  
  
  1. source /etc/network_turbo #加速用
  2. git clone https://github.com/hiyouga/LLaMA-Factory.git #下载
  3. cd LLaMA-Factory  #一定要进入LLaMA-Factory目录
  4. pip install -e .  #安装其它依赖

  复制代码
  
  
• 下载大模子:在服务器的autodl_tmp文件夹下建一个test01.py文件用来下载大模子.这里我选择魔塔社区的大模子:
  
  
  首先安装modelscope:    pip install modelscope
  然后在服务器的autodl_tmp文件夹下建一个test01.py文件用来下载大模子.
  
  
  
  
  1. #大模型下载
  2. from modelscope import snapshot_download
  3. model_dir = snapshot_download('UnicomAI/Unichat-llama3.2-Chinese-1B',cache_dir="/root/autodl-tmp/llm/")

  复制代码
  运行test01.py文件下载大模子到/root/autodl-tmp/llm/  路径下
  
• 下载弱智吧数据集:注意下载数据集后一定要将格式转换为如下格式,转换可用脚本或者AI帮助转换(略)
  
  
  
  
• 将转换后的数据集拖到服务器的Data目录下(即拷贝)
  
  
  
  
• 将数据集添加到配置文件中:
  
  
  
• 启动webUI
  
  
  1. cd LLaMA-Factory
  2. llamafactory-cli webui

  复制代码
• 填写参数:
  
  
  
  
• 点击"开始"进行训练:注意到曲线基本接近程度即可停止训练.
  
  
  
  
  
  每次训练完之后的权重都会存储在saves路径下面:
  

       我们可以选取任意一个去进行推理，测试一下我们的训练结果。

四.合并大模子

•  将saves下面的查抄点复制绝对路径到查抄点路径,选择导出目录,切换到Export(合并导出)其他参数保持稳定.
  
  
  
• 重新加载合并后的模子进行检测:
  
  
  
• 可以看到回答同样的问题但是一样的,说明训练成功!
  

五.接纳qlora加速量化大模子训练

        qlora加速需要安装bitsandbytes,且必须指定版本,否则很容易出现版本辩论.

1. pip install bitsandbytes==0.39.0

复制代码

         然后点"开始"训练,红色框为与qlora相关的关键参数:

在loss为0.01左右停止训练时的数据:

训练结束后可以生存训练模子,方法见  "四.合并大模子"

六.客观评估训练效果:

        注:由于数据是抽取训练会集的约1/10来做实验,没有严格按照训练数据集与评估数据集分开,所以仅作为实验参考.
        在评估前需要安装3个包:
            pip install jieba
            pip install nltk
            pip install rouge_chinese
        然后点击"开始"评估,下图红框意为保持与原训练参数一致,蓝色框意义见图中标注:

实测结果如下,由于非标准评估集,所以仅作实验性参考:

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。