qidao123.com技术社区-IT企服评测·应用市场

标题: 低本钱单机多卡微调方案实战指南：Windows系统+双4070显卡+LLaMA-Factory微调7B大模子 [打印本页]

---

作者: 半亩花草    时间: 2025-5-6 03:56
标题: 低本钱单机多卡微调方案实战指南：Windows系统+双4070显卡+LLaMA-Factory微调7B大模子

• 【真实项目复盘】从显卡困局到双4070显卡极限突围
  
  
• 【显卡党必看】双4070显卡血泪教程：从炸显存到跑通7B模子的存亡线
  
  
• Windows 11双显卡摆设LLaMA-Factory：4070显卡显存溢出终极解决方案
  
  
• WSL2下微调避坑指南：双4070显卡跑通Qwen2.5-7B-Instruct的4bit量化实录
  
  
• LLaMA-Factory实战：12G显存显卡用量化压缩玩转3B/7B大模子
  

“本以为双4070就能硬刚7B模子，效果Windows下双卡并行都炸了…过程中各种报错，各种查原因，问了Deepseek，又问gpt，再问豆包，再问搜索引擎，所有有名大模子都问了，都搜了，解决方案屈指可数啊，花三天踩穿各种环境陷阱、显存陷阱，终极靠WSL2+量化压缩实现反杀！操纵过程重新整理如下：”
有图有原形,双4070并行微调，双12G显存全部100%占满

装备数量2，训练完毕，完全在webui操纵执行

一、重新说起：当企业级需求撞上消费级显卡

大模子有大模子的用处，小模子有小模子的用处，项目必要，思量小参数模子解决基本问题即可：
   现状：
  

  

• 预算限制无法采购A100/H100等专业卡  
  
• 现有工作站配备双4070（12G×2）消费级显卡  
  
• 需求：微调3B-7B量级大模子用于项目基本应用场景
  

    Windows：
  

  

• 版本 Windows 11 专业版  
  
• 处理器 Intel® Core™ Ultra 7 265K 3.90 GHz  
  
• 机带 RAM 128 GB (127 GB 可用)  
  
• 系统范例 64 位操纵系统, 基于 x64 的处理器
  

    显卡（nvidia-smi）

  <hr> 二、Windows多卡并行血泪史：从希望到绝望

初次实验：直接执行LLaMA-Factory

1. 按照LLaMA-Factory指南直接安装，自动识别设备数为2      
2. 下载速度慢，就执行这个源，pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -e ".[torch,metrics]"
5. # 之后就开始做微调，但是报错，报错现场还原，如下：
6. [2025-05-01 20:35:10,200] [INFO] [real_accelerator.py:239:get_accelerator] Setting ds_accelerator to cuda (auto detect)
7. W0501 20:35:10.995000 28028 site-packages\torch\distributed\elastic\multiprocessing\redirects.py:29] NOTE: Redirects are currently not supported in Windows or MacOs.
8. [INFO|2025-05-01 20:35:13] llamafactory.cli:143 >> Initializing

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/)

Powered by Discuz! X3.4