llama-factory+ollama【qwen2.5-7b模子利用甄嬛语录可视化微调案例】
python虚拟情况 conda安装前人栽树，后人乘凉，参考大佬博客安装，很是详细，链接如下：https://blog.csdn.net/wh0605/article/details/142979657。
llama-factory安装
在网上找到的一些教程里面，总会出一些莫名的版本兼容错误，颠末一番摸索，搞了出来，特此记录一下：
[*]python虚拟情况版本为3.12 ，注意，不可利用小于3.10或大于3.12的版本，有许多包的兼容性不可；
[*]安装CUDA，从NVIDIA官网下载并安装适合显卡的CUDA版本nvidia-smi。
这里我下载的是12.8版本的，选择适合自己显卡驱动版本的；
安装完毕后，cmd输入nvcc -V查看是否安装成功。
[*]下载llama-factory，网页访问https://github.com/hiyouga/LLaMA-Factory； 大概用git下令下载
[*]在第一步中创建了虚拟情况，如今解压llama-factory的压缩包，进入根目次，打开cmd，输入activate XXX启动虚拟情况；
[*]在cmd中输入pip install -r requirements.txt安装须要的情况，假如遇到错误，需要切换pip源为清华大概阿里源；
[*]假如上述利用无法办理问题而且仍然报错，思量没有安装ffmpeg库，从github上下载并利用pip安装，并设置好情况变量；
[*]cmd中输入llamafactory-cli webui，假如提示llamafactory-cli不是内部大概外部的下令，则输入pip install -e .重新安装一遍；
[*]注意，还需要安装情况中的pytorch，否则启动会报错
[*]在运行llama-factory之前，我们需要确认cuda及情况是否安装完毕。
[*]查看输出内容是否有报错，无报错cuda即为可用
import torch
print(f'torch的版本是：{torch.__version__}')
print(f'torch是否能使用cuda：{torch.cuda.is_available()}')
开始训练
[*] 启动llama-factory，cmd中输入llamafactory-cli webui，等候默认浏览器自动打开大概手动在网页中输入http://localhost:7860/,看到网页打开即为完成
https://i-blog.csdnimg.cn/direct/4fc1a8a6ceb042abb99a88753fba4497.png#pic_center
[*] 下载模子文档，这里我利用的是python代码下载的qwen2.5-7b的，代码如下
import torch
from modelscope import snapshot_download
import os
model_dir = snapshot_download('qwen/Qwen2.5-7B-Instruct', cache_dir='./', revision='master')
其中注意下载的文件地址， 后面你需要用上
[*] 选择下载的模子名称及模子在当地的路径
https://i-blog.csdnimg.cn/direct/ce7ca2f72c934843b44f8fbf5f23100b.png#pic_center
[*] 准备好训练数据集，放入llama-factory根目次中的data文件夹中，而且修改其中的dataset_info.json文件
https://i-blog.csdnimg.cn/direct/ddb34aaa6d7d4577a3c9476f1c1bc6d2.png#pic_center
[*] 选中你的数据集，然后点击开始训练，等候训练完成即可。
https://i-blog.csdnimg.cn/direct/b110c13379484fae9ec7d36dcf0ae55d.png#pic_center
[*] 测试模子训练结果，查抄点路径中选择杠训练完成的模子，点击下方的chat标签
https://i-blog.csdnimg.cn/direct/7206d388c3954735876cd66516340562.png#pic_center
[*] 点击加载模子，等模子加载完成后进行对话即可验证训练结果，若训练结果不理想，可以尝试改变训练参数重新训练。
https://i-blog.csdnimg.cn/direct/b8ef00e826064fdc96c43a11839eab3a.png#pic_center
模子导出
[*]导出模子，放入ollama中，在点击export，设置随处模子位置，点击开始导出，等候导出完成，注意预留充足大的内存空间
https://i-blog.csdnimg.cn/direct/0f44e773743248a18a6985dc2b166edb.png#pic_center
[*]导出完成后，进入导出的文件夹中，在有makefile的根目次打开cmd窗口，输入ollama create chat-huanhuan -f ModelFile即可将模子导入ollama中，此处需要有充足大的空间。
[*]创建完成后，输入ollama list 即可查看刚刚创建的模子，ollama run chat-huanhuan:latest即可运行模子，进行对话。
https://i-blog.csdnimg.cn/direct/6d175cb2487a4c139bb439c659540f65.png#pic_center
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]