360-LLaMA-Factory安装与配置指南
360-LLaMA-Factory安装与配置指南360-LLaMA-Factory adds Sequence Parallelism into LLaMA-Factoryhttps://cdn-static.gitcode.com/Group427321440.svg 项目地址: https://gitcode.com/gh_mirrors/36/360-LLaMA-Factory
1. 项目基础介绍
360-LLaMA-Factory 是一个开源项目，基于 LLaMA-Factory 框架，增长了序列并行性（Sequence Parallelism，简称 SP）支持。该项目主要用于大型语言模子（LLM）的后续训练，如 Soft Prompt Tuning（SFT）和 Dynamic Personalization of Objectives（DPO）等。主要编程语言为 Python。
2. 关键技术和框架
[*]序列并行性（SP）: 通过序列并行性技术，可以在多个 GPU 上并行处理单个序列的数据，从而提升训练效率。
[*]深度学习框架: 基于 PyTorch 和 Huggingface 的 Transformers。
[*]分布式训练框架: 使用 DeepSpeed 举行多 GPU 分布式训练。
[*]优化技术: 集成了 ring-flash-attention 和其他优化技术，以提高训练性能。
3. 安装与配置
准备工作
在开始安装之前，请确保您的系统中已经安装了以下依赖：
[*]Python 3.11（推荐版本）
[*]Git
[*]Conda 或其他 Python 环境管理工具
安装步骤
步骤 1：创建 Python 环境
打开命令行，创建一个新的 Python 环境（推荐使用 Conda）：
conda create -n 360-llama-factory python=3.11 -y
步骤 2：激活环境
激活刚刚创建的环境：
conda activate 360-llama-factory
步骤 3：克隆项目
从 GitHub 克隆项目到本地：
git clone https://github.com/Qihoo360/360-LLaMA-Factory.git
步骤 4：安装依赖
进入项目目录，安装项目依赖：
cd 360-LLaMA-Factory
pip install -e "."
如果您的环境中已经安装了 LLaMA-Factory 和其他相关依赖，可以选择增量安装：
# 安装 ring-flash-attn 和 flash-attn
pip install --no-deps ring-flash-attn
pip install flash-attn
# 如果之前安装了原始的 LLaMA-Factory，需要卸载
pip uninstall llamafactory
# 安装 360-LLaMA-Factory
pip install --no-deps -e .
步骤 5：配置参数
在开始训练之前，必要配置 .yaml 文件中的 sequence_parallel_size 和 cutoff_len 参数，以启用序列并行性。
例如，在配置文件中设置：
sequence_parallel_size: 4
cutoff_len: 128000
或者在命令行中设置这些参数：
deepspeed --hostfile=8nodes.host src/train.py \
--sequence_parallel_size 4 \
--cutoff_len 128000 \
...
完成以上步骤后，您就可以开始使用 360-LLaMA-Factory 举行模子训练了。
注意：以上步骤为根本的安装和配置过程，具体的使用方法请参考项目的官方文档。
360-LLaMA-Factory adds Sequence Parallelism into LLaMA-Factoryhttps://cdn-static.gitcode.com/Group427321440.svg 项目地址: https://gitcode.com/gh_mirrors/36/360-LLaMA-Factory
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]