360-LLaMA-Factory安装与配置指南

360-LLaMA-Factory安装与配置指南

    360-LLaMA-Factory adds Sequence Parallelism into LLaMA-Factory  

项目地址: https://gitcode.com/gh_mirrors/36/360-LLaMA-Factory   
1. 项目基础介绍

360-LLaMA-Factory 是一个开源项目，基于 LLaMA-Factory 框架，增长了序列并行性（Sequence Parallelism，简称 SP）支持。该项目主要用于大型语言模子（LLM）的后续训练，如 Soft Prompt Tuning（SFT）和 Dynamic Personalization of Objectives（DPO）等。主要编程语言为 Python。
2. 关键技术和框架

• 序列并行性（SP）: 通过序列并行性技术，可以在多个 GPU 上并行处理单个序列的数据，从而提升训练效率。
  
• 深度学习框架: 基于 PyTorch 和 Huggingface 的 Transformers。
  
• 分布式训练框架: 使用 DeepSpeed 举行多 GPU 分布式训练。
  
• 优化技术: 集成了 ring-flash-attention 和其他优化技术，以提高训练性能。
  

3. 安装与配置

准备工作

在开始安装之前，请确保您的系统中已经安装了以下依赖：

• Python 3.11（推荐版本）
  
• Git
  
• Conda 或其他 Python 环境管理工具
  

安装步骤

步骤 1：创建 Python 环境

打开命令行，创建一个新的 Python 环境（推荐使用 Conda）：

1. conda create -n 360-llama-factory python=3.11 -y

复制代码

步骤 2：激活环境

激活刚刚创建的环境：

1. conda activate 360-llama-factory

复制代码

步骤 3：克隆项目

从 GitHub 克隆项目到本地：

1. git clone https://github.com/Qihoo360/360-LLaMA-Factory.git

复制代码

步骤 4：安装依赖

进入项目目录，安装项目依赖：

1. cd 360-LLaMA-Factory
2. pip install -e ".[torch,metrics,deepspeed]"

复制代码

如果您的环境中已经安装了 LLaMA-Factory 和其他相关依赖，可以选择增量安装：

1. # 安装 ring-flash-attn 和 flash-attn
2. pip install --no-deps ring-flash-attn
3. pip install flash-attn
4. # 如果之前安装了原始的 LLaMA-Factory，需要卸载
5. pip uninstall llamafactory
6. # 安装 360-LLaMA-Factory
7. pip install --no-deps -e .

复制代码

步骤 5：配置参数

在开始训练之前，必要配置 .yaml 文件中的 sequence_parallel_size 和 cutoff_len 参数，以启用序列并行性。
例如，在配置文件中设置：

1. sequence_parallel_size: 4
2. cutoff_len: 128000

复制代码

或者在命令行中设置这些参数：

1. deepspeed --hostfile=8nodes.host src/train.py \
2. --sequence_parallel_size 4 \
3. --cutoff_len 128000 \
4. ...

复制代码

完成以上步骤后，您就可以开始使用 360-LLaMA-Factory 举行模子训练了。
注意：以上步骤为根本的安装和配置过程，具体的使用方法请参考项目的官方文档。
    360-LLaMA-Factory adds Sequence Parallelism into LLaMA-Factory  

项目地址: https://gitcode.com/gh_mirrors/36/360-LLaMA-Factory   

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。