Windows下llamafactory+ollama+docker 微调摆设全流程速通（RTX4090公版）
llamafactory+ollama+docker 微调摆设全流程速通（RTX4090公版）目录标题)前言
在unsloth莫名报错之后，转身投向了国产微调工具的怀抱
llamafactory----消耗级显卡用户的大模子微调福音
新人不善言辞，直接流程走起
1.docker
1.起首是安装docker，由于docker默认安装在C盘而在利用后期会占据超级多的空间导致C盘空间不足，因此我们先在D盘下新建Docker文件夹作为安装路径
2.然后我们搜索docker for Windows，docker官网下载完成之后进入下载文件夹下运行cmd
3.运行下令
"Docker Desktop Installer.exe" install --installation-dir=<D:\Docker>
或者更改到您喜欢的位置
2.llamafactory
llamafactory的源码我们是可以直接在hub获取的，但是很多教程实际上会由于各种缘故原由导致失败，因此我们全部基于docker来摆设
1.拉取llamafactory源码
git clone https://github.com/hiyouga/LLaMA-Factory.git
2.进入拉取的文件夹内
关于pip安装下令的利用，我是利用的anaconda创建的虚拟环境，python版本选择3.11.9即可
cd LLaMA-Factory
pip install -e "."
cd docker/docker-cuda/ #进入文件夹
docker compose up -d#compose构建
docker compose exec llamafactory bash #或者是重新打开命令行界面运行
# docker exec -it llamafactory /bin/bash
3.此时运行服务
llamafactory-cli webui
然后打开浏览器访问localhost:7860
3.ollama
ollama地点
从一而终地，ollama我们也利用docker来摆设，新买的装备固然是不能吃灰，所以我利用的是gpu版本
win+R输入cmd，拉取ollama镜像
docker pull ollama/ollama
#cpu
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
#gpu
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
练习工具和运行工具都已经安装完毕，下一篇会继承分享练习过程，后续也会分享利用过程中的坑~
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]