Windows下llamafactory+ollama+docker 微调摆设全流程速通（RTX4090公版） ...

llamafactory+ollama+docker 微调摆设全流程速通（RTX4090公版）目录标题)
前言

在unsloth莫名报错之后，转身投向了国产微调工具的怀抱
llamafactory----消耗级显卡用户的大模子微调福音
新人不善言辞，直接流程走起
1.docker

1.起首是安装docker，由于docker默认安装在C盘而在利用后期会占据超级多的空间导致C盘空间不足，因此我们先在D盘下新建Docker文件夹作为安装路径
2.然后我们搜索docker for Windows，docker官网下载完成之后进入下载文件夹下运行cmd
3.运行下令

1. "Docker Desktop Installer.exe" install --installation-dir=<D:\Docker>

复制代码

或者更改到您喜欢的位置
2.llamafactory

llamafactory的源码我们是可以直接在hub获取的，但是很多教程实际上会由于各种缘故原由导致失败，因此我们全部基于docker来摆设
1.拉取llamafactory源码

1. git clone https://github.com/hiyouga/LLaMA-Factory.git

复制代码

2.进入拉取的文件夹内
关于pip安装下令的利用，我是利用的anaconda创建的虚拟环境，python版本选择3.11.9即可

1. cd LLaMA-Factory
2. pip install -e ".[torch,metrics]"
3. cd docker/docker-cuda/ #进入文件夹
4. docker compose up -d  #compose构建
5. docker compose exec llamafactory bash #或者是重新打开命令行界面运行
6. # docker exec -it llamafactory /bin/bash

复制代码

3.此时运行服务

1. llamafactory-cli webui

复制代码

然后打开浏览器访问localhost:7860
3.ollama

ollama地点
从一而终地，ollama我们也利用docker来摆设，新买的装备固然是不能吃灰，所以我利用的是gpu版本
win+R输入cmd，拉取ollama镜像

1. docker pull ollama/ollama
2. #cpu
3. docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
4. #gpu
5. docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

复制代码

练习工具和运行工具都已经安装完毕，下一篇会继承分享练习过程，后续也会分享利用过程中的坑~

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。