利用llama.cpp转换safetensors格式的模子为gguf格式

Ollama如何运行魔塔社区下载的大模子

在魔塔社区或huggingface下载的模子通常以 safetensors 格式存储，而这种格式无法直接被 ollama 利用。因此，我们可以通过 llama.cpp 工具链将模子转换为兼容的 gguf 格式，从而实现无缝集成。

---

第一步：获取并设置 llama.cpp

首先，我们必要从 GitHub 堆栈克隆 llama.cpp 工具链。这一工具链以其高效的性能和对多种模子格式的支持而著名，是完成格式转换的抱负选择。

1. git clone https://github.com/ggerganov/llama.cpp.git

复制代码

进入项目目录后，安装所需的 Python 库依靠项，确保环境设置无误：

1. cd llama.cpp
2. pip install -r requirements.txt

复制代码

---

第二步：实行模子格式转换

接下来，我们将利用 convert_hf_to_gguf.py 脚本，将原始的 safetensors 模子文件转换为 gguf 格式。此过程不仅必要指定输入路径，还需明确输出路径及目标格式类型（例如 f16）。
假设模子文件存储于 E:\deepseek\DeepSeek-R1-Distill-Qwen-7B 目录下，运行以下命令：

1. python convert_hf_to_gguf.py "E:\deepseek\DeepSeek-R1-Distill-Qwen-7B" \
2.     --outfile "E:\deepseek\DeepSeek-R1-Distill-Qwen-7B\DeepSeek-R1-Distill-Qwen-7B.gguf" \
3.     --outtype f16

复制代码

经过半晌等待，脚本将天生一个名为 DeepSeek-R1-Distill-Qwen-7B.gguf 的文件，标志着格式转换的成功完成。

---

第三步：创建 Modelfile 文件

为了使 ollama 可以大概精确加载新转换的模子，我们必要为其编写一个 Modelfile 设置文件。该文件界说了模子的根本路径、对话模板以及停用词等关键参数。
在 E:\deepseek\DeepSeek-R1-Distill-Qwen-7B\ 目录下创建 Modelfile 文件，并写入以下内容：

1. FROM "E:\deepseek\DeepSeek-R1-Distill-Qwen-7B\DeepSeek-R1-Distill-Qwen-7B.gguf"
3. TEMPLATE """
4. {{- if .System }}{{ .System }}{{ end }}
6. {{- range $i, $_ := .Messages }}
7. {{- $last := eq (len (slice $.Messages $i)) 1}}
9. {{- if eq .Role "user" }}<｜User｜>{{ .Content }}
11. {{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
13. {{- end }}
15. {{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
17. {{- end }}
18. """
20. PARAMETER stop "<|begin▁of▁sentence|>"
21. PARAMETER stop "<|end▁of▁sentence|>"
22. PARAMETER stop "<|User|>"
23. PARAMETER stop "<|Assistant|>"

复制代码

这段设置代码不仅界说了模子的加载路径，还通过精巧的模板设计实现了用户与助手脚色之间的自然对话切换，同时设置了多个停用词以优化天生结果。

---

第四步：导入模子至 ollama

完成上述准备工作后，我们可以利用 ollama create 命令将模子正式导入到 ollama 中。在这里，我们为模子赋予了一个自界说名称 my_DeepSeek-R1-Distill-Qwen-7B，以便于后续调用。

1. ollama create my_DeepSeek-R1-Distill-Qwen-7B -f Modelfile

复制代码

实行完成后，运行以下命令检察模子是否成功导入：

1. ollama list

复制代码

如果齐备顺遂，您将在列表中看到刚刚创建的模子名称。

---

第五步：运行模子

最后，启动模子并体验其强盛的推理本领。只需运行以下命令即可：

1. ollama run my_DeepSeek-R1-Distill-Qwen-7B:latest

复制代码

此刻，模子已整装待发，随时准备响应您的提问或资助完成复杂的使命。

---

注意：llama.cpp可能只支持纯文本模子的转换。我尝试转换deepseek-vl2-tiny模子时报错。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告