10、ollama启动LLama_Factory微调大模子（llama.cpp）

在前面章节中介绍了如何使用LLama_Factory微调大模子，并将微调后的模子文件合并导出，本节我们我们看下如何使用ollama进行调用。
1、llama.cpp

LLama_Factory练习好的模子，ollama不能直接使用，必要转换一下格式，我们按照ollama官网的提示使用llama.cpp来进行实现。

1.1 安装llama.cpp

下载 llama.cpp

1. git clone https://github.com/ggerganov/llama.cpp.git
4. cd llama.cpp
7. # 安裝 Python 相依套件
8. pip install -r requirements.txt

复制代码

1.2 格式转换

1. python convert_hf_to_gguf.py  /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all \
2. > --outfile /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf

复制代码

• /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all ：微调后合并的模子文件路径
  
• /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf ：转换后的文件路径和名称
  

速率很快

2、ollama启动模子

2.1 Linux安装ollama

1. curl -fsSL https://ollama.com/install.sh | sh

复制代码

如果服务器网络不好无法下载，可以先下载到当地再上传
下载地点：https://ollama.com/download/ollama-linux-amd64.tgz
解压安装：sudo tar -xzf ollama-linux-amd64.tgz -C /usr/local/

2.2 加载模子

要导入 GGUF 模子到 Ollama 中，您必要创建一个名为 ModelFile 的文件，并在此中包含指定的内容。以下是如何创建这个文件的步骤：

• 选择创建文件的目录
  必要确定把ollama相关的配置文件放在那个目录，比如在主目录中创建一个专用目录来存放模子文件：
  
  1. mkdir -p ~/ollama_models/my_model
  2. cd ~/ollama_models/my_model

  复制代码
• 创建 ModelFile 文件
  在进入目的目录后，使用以下命令创建一个名为 ModelFile 的文件：
  
  1. touch ModelFile

  复制代码
• 编辑 ModelFile 文件
  接下来，使用您认识的文本编辑器（如 nano、vi 或 vim）打开并编辑 ModelFile 文件。例如，使用 nano 编辑：
  
  1. nano ModelFile

  复制代码
  在文件中输入以下内容，将 /path/to/file.gguf 更换为 GGUF 文件的现实路径：
  
  1. FROM /path/to/file.gguf

  复制代码
  例如，我的 GGUF 文件位于 FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf
  ，则内容应为：
  
  1. FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf

  复制代码
• 保存并关闭文件
  在编辑完成后，保存文件并退出编辑器：
  
  
  
  • 在 nano 中，按 Ctrl + O 保存，按 Enter 确认保存路径，然后按 Ctrl + X 退出编辑器。
    
  • 在 vi 或 vim 中，按 Esc 键，然后输入 :wq 保存并退出。
    
  
  
• 使用 Ollama 导入模子
  完成 ModelFile 文件的创建后，使用 Ollama 的命令来导入该模子：
  
  1. ollama create my-model -f /root/ollama_models/my_model/ModelFile

  复制代码
  在上述命令中，my-model 为模子选择的名称。
  
  
  
  
• 查看创建的模子
  
  
  
  
• 运行模子
  
  
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。