利用llama.cpp转换safetensors格式的模子为gguf格式
Ollama如何运行魔塔社区下载的大模子在魔塔社区或huggingface下载的模子通常以 safetensors 格式存储，而这种格式无法直接被 ollama 利用。因此，我们可以通过 llama.cpp 工具链将模子转换为兼容的 gguf 格式，从而实现无缝集成。
第一步：获取并设置 llama.cpp
首先，我们必要从 GitHub 堆栈克隆 llama.cpp 工具链。这一工具链以其高效的性能和对多种模子格式的支持而著名，是完成格式转换的抱负选择。
git clone https://github.com/ggerganov/llama.cpp.git
进入项目目录后，安装所需的 Python 库依靠项，确保环境设置无误：
cd llama.cpp
pip install -r requirements.txt
https://i-blog.csdnimg.cn/img_convert/963ac65d62a1c4d0b09b6ddc24e5298e.png
第二步：实行模子格式转换
接下来，我们将利用 convert_hf_to_gguf.py 脚本，将原始的 safetensors 模子文件转换为 gguf 格式。此过程不仅必要指定输入路径，还需明确输出路径及目标格式类型（例如 f16）。
假设模子文件存储于 E:\deepseek\DeepSeek-R1-Distill-Qwen-7B 目录下，运行以下命令：
python convert_hf_to_gguf.py "E:\deepseek\DeepSeek-R1-Distill-Qwen-7B" \
--outfile "E:\deepseek\DeepSeek-R1-Distill-Qwen-7B\DeepSeek-R1-Distill-Qwen-7B.gguf" \
--outtype f16
经过半晌等待，脚本将天生一个名为 DeepSeek-R1-Distill-Qwen-7B.gguf 的文件，标志着格式转换的成功完成。
https://i-blog.csdnimg.cn/img_convert/b46d22090fd2089fec193cf07f7dfc71.png
第三步：创建 Modelfile 文件
为了使 ollama 可以大概精确加载新转换的模子，我们必要为其编写一个 Modelfile 设置文件。该文件界说了模子的根本路径、对话模板以及停用词等关键参数。
在 E:\deepseek\DeepSeek-R1-Distill-Qwen-7B\ 目录下创建 Modelfile 文件，并写入以下内容：
FROM "E:\deepseek\DeepSeek-R1-Distill-Qwen-7B\DeepSeek-R1-Distill-Qwen-7B.gguf"
TEMPLATE """
{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}
"""
PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|User|>"
PARAMETER stop "<|Assistant|>"
这段设置代码不仅界说了模子的加载路径，还通过精巧的模板设计实现了用户与助手脚色之间的自然对话切换，同时设置了多个停用词以优化天生结果。
https://i-blog.csdnimg.cn/img_convert/8fa59078c7e6d7a3283d888277a1239f.png
第四步：导入模子至 ollama
完成上述准备工作后，我们可以利用 ollama create 命令将模子正式导入到 ollama 中。在这里，我们为模子赋予了一个自界说名称 my_DeepSeek-R1-Distill-Qwen-7B，以便于后续调用。
ollama create my_DeepSeek-R1-Distill-Qwen-7B -f Modelfile
https://i-blog.csdnimg.cn/img_convert/f667495a43365b32c05201da37b3b113.png
实行完成后，运行以下命令检察模子是否成功导入：
ollama list
如果齐备顺遂，您将在列表中看到刚刚创建的模子名称。
https://i-blog.csdnimg.cn/img_convert/fb2172809fc1ee81887704b516b7e2c0.png
第五步：运行模子
最后，启动模子并体验其强盛的推理本领。只需运行以下命令即可：
ollama run my_DeepSeek-R1-Distill-Qwen-7B:latest
此刻，模子已整装待发，随时准备响应您的提问或资助完成复杂的使命。
https://i-blog.csdnimg.cn/img_convert/85c9075fd9edecf42ef638a0aa2e334f.png
注意：llama.cpp可能只支持纯文本模子的转换。我尝试转换deepseek-vl2-tiny模子时报错。
https://i-blog.csdnimg.cn/img_convert/7fbe6efb2b2548318ea3173ee7d2c5ea.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]