10、ollama启动LLama_Factory微调大模子（llama.cpp）
在前面章节中介绍了如何使用LLama_Factory微调大模子，并将微调后的模子文件合并导出，本节我们我们看下如何使用ollama进行调用。1、llama.cpp
LLama_Factory练习好的模子，ollama不能直接使用，必要转换一下格式，我们按照ollama官网的提示使用llama.cpp来进行实现。
https://i-blog.csdnimg.cn/direct/015399342de44c7a8feb8e64f72cd063.png
1.1 安装llama.cpp
下载 llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
# 安裝 Python 相依套件
pip install -r requirements.txt
https://i-blog.csdnimg.cn/direct/466623e07eb445f7b31f63530b22740b.png
1.2 格式转换
python convert_hf_to_gguf.py/root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all \
> --outfile /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf
[*]/root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all ：微调后合并的模子文件路径
[*]/root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf ：转换后的文件路径和名称
https://i-blog.csdnimg.cn/direct/71170d5859b54a8f9fbef2480d880067.png
速率很快
https://i-blog.csdnimg.cn/direct/b33cef7d4bf94914aebc15a2568fa63c.png
https://i-blog.csdnimg.cn/direct/e8711dff8e4e42bfaab2755b423e57e6.png
2、ollama启动模子
2.1 Linux安装ollama
https://i-blog.csdnimg.cn/direct/ad68da88cbed416d90a953677998ff31.png
curl -fsSL https://ollama.com/install.sh | sh
如果服务器网络不好无法下载，可以先下载到当地再上传
下载地点：https://ollama.com/download/ollama-linux-amd64.tgz
解压安装：sudo tar -xzf ollama-linux-amd64.tgz -C /usr/local/
https://i-blog.csdnimg.cn/direct/55ab06daf8a14a9fb5b3f9ac4b7347d3.png
2.2 加载模子
要导入 GGUF 模子到 Ollama 中，您必要创建一个名为 ModelFile 的文件，并在此中包含指定的内容。以下是如何创建这个文件的步骤：
[*] 选择创建文件的目录
必要确定把ollama相关的配置文件放在那个目录，比如在主目录中创建一个专用目录来存放模子文件：
mkdir -p ~/ollama_models/my_model
cd ~/ollama_models/my_model
[*] 创建 ModelFile 文件
在进入目的目录后，使用以下命令创建一个名为 ModelFile 的文件：
touch ModelFile
[*] 编辑 ModelFile 文件
接下来，使用您认识的文本编辑器（如 nano、vi 或 vim）打开并编辑 ModelFile 文件。例如，使用 nano 编辑：
nano ModelFile
在文件中输入以下内容，将 /path/to/file.gguf 更换为 GGUF 文件的现实路径：
FROM /path/to/file.gguf
例如，我的 GGUF 文件位于 FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf
，则内容应为：
FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf
[*] 保存并关闭文件
在编辑完成后，保存文件并退出编辑器：
[*]在 nano 中，按 Ctrl + O 保存，按 Enter 确认保存路径，然后按 Ctrl + X 退出编辑器。
[*]在 vi 或 vim 中，按 Esc 键，然后输入 :wq 保存并退出。
[*] 使用 Ollama 导入模子
完成 ModelFile 文件的创建后，使用 Ollama 的命令来导入该模子：
ollama create my-model -f /root/ollama_models/my_model/ModelFile
在上述命令中，my-model 为模子选择的名称。
https://i-blog.csdnimg.cn/direct/f46cba66570c4808aeb03cb4648b1e41.png
[*] 查看创建的模子
https://i-blog.csdnimg.cn/direct/18c25034241f4567abcffe1b272c40a7.png
[*] 运行模子
https://i-blog.csdnimg.cn/direct/4487dfb654be43a9a2834b32f27817de.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]