SwanLab x LLaMA Factory：国产开源AI训练工具组合拳（含教程） ...

我们非常高兴地宣布SwanLab与LLaMA Factory创建合作伙伴关系，致力于为中国训练者提供优质、高效的大模型训练体验。
现在你使用新版本的LLaMA Factory启动训练前，可以在WebUI的「SwanLab configurations」（中文：SwanLab参数设置）卡片中勾选「Use SwanLab」，就可以通过SwanLab强盛的训练看板举行这一次大模型微调的跟踪、记载与可视化。

LLaMA Factory 是一个用于微调大语言模型 (LLM) 的开源工具包，它提供了一个同一且高效的框架，支持 100 多个 LLM （包罗Qwen、LLaMA、ChatGLM、Mistral等）的微调，涵盖了各种训练方法、数据集和先进算法。
大语言模型的微调是一个上手门槛颇高的工作，LLaMA Factory通过提供用户友爱的 Web UI 和命令行界面，结合其同一且高效的框架，大幅低落了大模型从微调到测试评估的上手门槛。
为了提供用户更好的大模型微调过程监控与日记记载体验，我们与LLaMA Factory团队合作开展了两项举措：利用SwanLab增强LLaMA Factory的实验监控本领，以及在SwanLab中记载 LLaMA Factory的专属超参数。
   LLaMA Factory：github.com/hiyouga/LLa… SwanLab：swanlab.cn SwanLab开源堆栈：github.com/SwanHubX/Sw… 实验过程：swanlab.cn/@ZeyiLin/ll…
  使用案例

我们将以使用LLaMA Factory + SwanLab可视化微调Qwen2.5为案例。
1. 安装环境

起首，你需要确保你拥有Python3.8以上环境与Git工具，然后克隆堆栈：

1. git clone https://github.com/hiyouga/LLaMA-Factory

复制代码

安装干系环境：

1. cd LLaMA-Factory
2. pip install -e ".[torch,metrics,swanlab]"

复制代码

  如果你是昇腾NPU用户，可以访问：github.com/hiyouga/LLa… 检察昇腾NPU版安装教程。
  2. 使用LLaMA Board开启训练

LLaMA Board是基于Gradio的可视化微调界面，你可以通过下面的代码启动LLaMA Board：

1. llamafactory-cli webui

复制代码

提示：LLaMA Factory默认的模型/数据集下载源是HuggingFace，如果你地点的网络环境对与HuggingFace下载并不友爱，可以在启动LLaMA Board之前，将下载源设置为魔搭社区或魔乐社区：

1. # 下载源改为魔搭社区
2. export USE_MODELSCOPE_HUB=1 # Windows 使用 `set USE_MODELSCOPE_HUB=1`
4. # 下载源改为魔乐社区
5. export USE_OPENMIND_HUB=1 # Windows 使用 `set USE_OPENMIND_HUB=1`

复制代码

实行 llamafactory-cli webui

之后，你可以在浏览器看到下面的UI界面。本案例选择Qwen2-1.5B-instruct作为模型，alpaca_zh_demo作为数据集：

在页面的下方，你会看到一个「SwanLab参数设置」的卡片，睁开后，你就可以设置SwanLab的项目名、实验名、工作区、API 密钥以及模式等参数。
   如果你是第一次使用SwanLab，还需要在 swanlab.cn 注册一个账号获取专属的API密钥。
  我们勾选 「使用SwanLab」：

现在，点击**「开始」按钮**，就可以开启微调：

在完成载入模型、载入数据集，正式开启微调后，我们可以在命令行界面找到SwanLab部分：

点击箭头对应的实验链接，就可以在浏览器中打开SwanLab实验跟踪看板：

在「卡片」栏下的「设置」表中，第一个就会是LLamaFactory，标识了这次训练的使用框架。

3. 使用命令行开启训练

LLaMA Factory还支持通过yaml设置文件，在命令行中举行微调。
我们编辑LLaMA Factory项目目次下的 examples/train_lora/qwen2vl_lora_sft.yaml 文件，在文件尾部增加：

1. ...
3. ### swanlab
4. use_swanlab: true
5. swanlab_project: llamafactory
6. swanlab_run_name: Qwen2-VL-7B-Instruct

复制代码

然后运行：

1. llamafactory-cli train examples/train_lora/qwen2vl_lora_sft.yaml

复制代码

在完成载入模型、载入数据集，正式开启微调后，与LLaMA Board一样，可以在命令行界面找到SwanLab部分，通过实验链接访问SwanLab实验看板。

---

致敬 LLaMA Factory 团队，感谢他们为开源社区提供了这么一个优秀的模型训练工具。随着我们的继续合作，敬请期待SwanLab工具为大模型训练师提供更深入、强盛的实验跟踪功能。
怎样学习大模型

下面这些都是我当初辛苦整理和费钱购买的资料，现在我已将告急的AI大模型资料包罗市面上AI大模型各明白皮书、AGI大模型体系学习蹊径、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

现在社会上大模型越来越遍及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。
作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够办理你们学习中的困难。