python虚拟情况 conda安装
前人栽树，后人乘凉，参考大佬博客安装，很是详细，链接如下：https://blog.csdn.net/wh0605/article/details/142979657。
llama-factory安装
在网上找到的一些教程里面，总会出一些莫名的版本兼容错误，颠末一番摸索，搞了出来，特此记录一下：
- python虚拟情况版本为3.12 ，注意，不可利用小于3.10或大于3.12的版本，有许多包的兼容性不可；
- 安装CUDA，从NVIDIA官网下载并安装适合显卡的CUDA版本nvidia-smi。
这里我下载的是12.8版本的，选择适合自己显卡驱动版本的；
安装完毕后，cmd输入nvcc -V查看是否安装成功。
- 下载llama-factory，网页访问https://github.com/hiyouga/LLaMA-Factory； 大概用git下令下载
- 在第一步中创建了虚拟情况，如今解压llama-factory的压缩包，进入根目次，打开cmd，输入activate XXX启动虚拟情况；
- 在cmd中输入pip install -r requirements.txt安装须要的情况，假如遇到错误，需要切换pip源为清华大概阿里源；
- 假如上述利用无法办理问题而且仍然报错，思量没有安装ffmpeg库，从github上下载并利用pip安装，并设置好情况变量；
- cmd中输入llamafactory-cli webui，假如提示llamafactory-cli不是内部大概外部的下令，则输入pip install -e .[metrics]重新安装一遍；
- 注意，还需要安装情况中的pytorch，否则启动会报错
- 在运行llama-factory之前，我们需要确认cuda及情况是否安装完毕。
- 查看输出内容是否有报错，无报错cuda即为可用
- import torch
- print(f'torch的版本是：{torch.__version__}')
- print(f'torch是否能使用cuda：{torch.cuda.is_available()}')
- 启动llama-factory，cmd中输入llamafactory-cli webui，等候默认浏览器自动打开大概手动在网页中输入http://localhost:7860/,看到网页打开即为完成
- 下载模子文档，这里我利用的是python代码下载的qwen2.5-7b的，代码如下
- import torch
- from modelscope import snapshot_download
- import os
- model_dir = snapshot_download('qwen/Qwen2.5-7B-Instruct', cache_dir='./', revision='master')
- 选择下载的模子名称及模子在当地的路径
- 准备好训练数据集，放入llama-factory根目次中的data文件夹中，而且修改其中的dataset_info.json文件
- 选中你的数据集，然后点击开始训练，等候训练完成即可。
- 测试模子训练结果，查抄点路径中选择杠训练完成的模子，点击下方的chat标签
- 点击加载模子，等模子加载完成后进行对话即可验证训练结果，若训练结果不理想，可以尝试改变训练参数重新训练。
模子导出
- 导出模子，放入ollama中，在点击export，设置随处模子位置，点击开始导出，等候导出完成，注意预留充足大的内存空间
- 导出完成后，进入导出的文件夹中，在有makefile的根目次打开cmd窗口，输入ollama create chat-huanhuan -f ModelFile即可将模子导入ollama中，此处需要有充足大的空间。
- 创建完成后，输入ollama list 即可查看刚刚创建的模子，ollama run chat-huanhuan:latest即可运行模子，进行对话。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
