【LLM】Llama Factory：Windows部署全流程
一、部署原理与流程概述（一）核心逻辑
本教程基于"情况隔离-硬件适配-框架集成"三层架构设计，通过创建独立Python情况保障系统稳定性，结合GPU硬件加速提升盘算服从，终极实现Llama Factory框架的完备功能调用。
（二）部署流程
二、Nvidia驱动部署（硬件适配层）
（一）须要性说明
[*]功能支撑：激活GPU的CUDA盘算能力，为后续PyTorch框架提供硬件加速支持
[*]版本要求：驱动版本需与CUDA工具包兼容（本教程适配CUDA 12.1）
（二）操纵流程
[*] 硬件辨认
[*]Win+R输入dxdiag调取诊断工具
[*]纪录表现标签页的【装备名称】与【驱动版本】
[*]结果验证：确认显卡型号属于支持CUDA的Nvidia产物
[*] 驱动安装
[*]访问Nvidia驱动下载中心
[*]按型号选择Game Ready驱动（推荐最新稳定版）
[*]执行安装包选择精简安装模式
[*]结果验证：CMD执行nvidia-smi应表现GPU状态信息
三、Python情况搭建（情况隔离层）
（一）Miniconda安装
[*]工具选择
[*]采用Miniconda而非Anaconda：精简体积（约1/10）且制止冗余包辩说
[*]镜像源配置：使用清华镜像加速下载
[*]安装步骤
[*]推荐方式：通过清华大学开源软件镜像站下载，速度更快。
[*]替代方式：访问Miniconda官网下载。
[*]安装选项：勾选Add to PATH，取消Register as default Python
[*]结果验证：CMD执行conda --version表现版本信息
（二）捏造情况管理
[*] 情况创建
conda create -n llama_factory python=3.11 -y
[*]版本说明：Python 3.11在异步IO和类型提示方面优化显著，适配最新AI框架
[*] 情况激活
conda activate llama_factory
[*]状态提示：命令行前缀变为(llama_factory)
四、PyTorch框架安装（盘算加速层）
（一）版本匹配原则
[*]CUDA 12.1：适配RTX 40系显卡的SM 8.9架构
[*]PyTorch 2.4.0：支持动态外形编译优化
（二）安装命令
conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.1 -c pytorch -c nvidia
（三）验证测试
# CUDA可用性测试
import torch
print(f"CUDA状态: {torch.cuda.is_available()}")
print(f"计算设备: {torch.cuda.get_device_name(0)}")
预期输出示例：
CUDA状态: True
计算设备: NVIDIA GeForce RTX 4060
五、Llama Factory部署（应用层）
（一）代码获取
# 推荐使用SSH方式（需配置Git密钥）
git clone git@github.com:hiyouga/LLaMA-Factory.git
# 或HTTPS方式
git clone https://github.com/hiyouga/LLaMA-Factory.git
（二）依赖安装
[*] 基础依赖
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/
[*]镜像加速：推荐国内用户使用清华源以提升下载速度。
[*] 扩展组件
pip install -e "."
[*]torch：集成PyTorch扩展功能。
[*]metrics：加载评估指标模块。
[*] 量化 LoRA（QLoRA）支持
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
[*]为在 Windows 平台上开启量化 LoRA，需安装预编译的 bitsandbytes 库，支持 CUDA 11.1 到 12.2。
（三）服务启动
llamafactory-cli webui --port 7860 --host 0.0.0.0
[*]访问路径：浏览器打开http://localhost:7860
[*]服务验证：终端表现Running on local URL: http://0.0.0.0:7860
六、维护与升级
（一）情况备份
conda env export > llama_factory_env.yaml
（二）驱动更新
[*]定期检查Nvidia驱动更新页面
[*]发起每季度更新一次驱动版本
（三）框架升级
# 在项目目录执行
git pull origin main
pip install -r requirements.txt --upgrade
附录：常见题目排查
现象诊断方法解决方案CUDA不可用print(torch.version.cuda)检查驱动版本与PyTorch CUDA版本匹配端口辩说`netstat -anofindstr :7860`依赖辩说pip list --format=freeze创建新捏造情况重新安装 本教程通过四层架构设计确保部署可靠性，各环节均设有验证机制。发起在物理情况部署前，先通过Windows Sandbox进行沙箱测试。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]