部署微调框架LLaMA-Factory

LLaMA Factory

1.我们在ChatGLM3的github官方页面上能看到对LLaMA-Factory的推荐

2.LLaMA Factory github链接 
hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMs (github.com) 
步调一：安装LLaMA Factory

• 进入DSW开发环境。
     
  
  
  • 登录PAI控制台。
    
  • 在页面左上方，选择DSW实例所在的地区。
    
  • 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。
    
  • 在左侧导航栏，选择模子开发与训练>交互式建模（DSW）。
    
  • 单击需要打开的实例操纵列下的打开，进入DSW实例开发环境。
    
  
  
• 在Launcher页面中，单击快速开始区域Notebook下的Python3。
  
• 在Notebook中执行以下代码，拉取LLaMA-Factory项目到DSW实例。
  
  1. !git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

  复制代码
• 安装LLaMA-Factory依靠环境。
  
  1. !pip uninstall -y vllm
  2. !pip install llamafactory[metrics]==0.7.1

  复制代码
• 运行如下命令，如果显示llamafactory-cli的版本，则表现安装成功。
  
  1. !llamafactory-cli version

  复制代码
  1. [2024-05-08 10:25:22,857] [INFO] [real_accelerator.py:161:get_accelerator] Setting ds_accelerator to cuda (auto detect)
  2. Welcome to LLaMA Factory, version 0.7.1.dev0

  复制代码

步调二：启动LLaMA-Factory

1.看到如下页面就已经部署成功
        

        

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。