必看！各系统用 llama.cpp 实现 safetensors 转 gguf 格式攻略 ...

在大语言模型的应用中，文件格式转换经常是解锁更多功能与优化性能的关键步骤。本日，就来给各人详细讲讲怎样在各个系统下，借助 llama.cpp 将 safetensors 格式转为 gguf 格式，让你的模型使用更加高效便捷。​

一、了解转换的前置条件​
在开始转换之前，确保你已经安装好了 llama.cpp 项目。你可以从它的GitHsub 堆栈下载。此外，不同系统下的情况准备略有不同：​

• Windows 系统：需要安装好 Visual Studio，确保有 C++ 编译情况。同时，要安装 Python 情况，用于运行转换脚本，建议安装 Python 3.11 及以上版本。​
  

• Mac 系统：系统自带的 Xcode Command Line Tools 中包罗了基本的编译情况。同样需要安装 Python 情况，可通过 Homebrew 等包管理器举行安装。​
  

• Linux 系统：确保安装了 GCC 等编译工具，Python 情况也是必备的，一样平常系统默认安装的 Python 版本即可满足要求。​
  

二、转换工具与脚本​
llama.cpp 项目中提供了用于格式转换的脚本。对于将 safetensors 转为 gguf 格式，重要会用到convert-hf-to-gguf.py脚本 。这个脚本的作用是读取模型配置、分词器、张量名称和数据，然后将它们转换为 GGUF 元数据和张量。你可以在下载好的 llama.cpp 项目目次中找到这个脚本。​
三、各系统下的详细转换步骤​
Windows 系统​

• 准备工作：解压下载好的 llama.cpp 项目压缩包，进入项目目次。打开命令提示符（CMD），进入到 llama.cpp 项目地点路径。​
  

• 运行转换：假设你的 safetensor 模型文件存放在C:\models\my_model.safetensors，运行以下命令：​
  

1. 取消自动换行复制
2. python convert-hf-to-gguf.py C:\models\my_model.safetensors output.gguf​

复制代码

这里output.gguf是你自定义的转换后 GGUF 格式的文件名，你可以根据自己的需求修改。在运行过程中，如果提示缺少某些依赖库，按照提示使用pip install命令安装即可。​
Mac 系统​

• 打开终端：通过访达找到 llama.cpp 项目文件夹，右键点击选择 “在终端中打开”。​
  

• 赋予脚本实行权限：运行命令chmod +x convert-hf-to-gguf.py，确保脚本可实行。​
  

• 实行转换：若 safetensor 模型位于/Users/yourusername/models/my_model.safetensors，则实行以下命令：​
  

1. 取消自动换行复制
2. ./convert-hf-to-gguf.py /Users/yourusername/models/my_model.safetensors output.gguf​

复制代码

同样，output.gguf可自行命名。转换过程中若碰到题目，好比权限不足等，按照系统提示举行相应调整。​
Linux 系统​

• 进入项目目次：使用cd命令进入到 llama.cpp 项目地点目次。​
  

• 实行转换：假设 safetensor 模型在/home/user/models/my_model.safetensors，实行命令：​
  

1. 取消自动换行复制
2. python3 convert-hf-to-gguf.py /home/user/models/my_model.safetensors output.gguf​

复制代码

在一些系统中，Python 命令大概是python3，请根据实际情况调整。若转换过程中出现依赖题目，使用包管理器安装相应依赖，如apt-get install或yum install等。​
四、转换后的检查与使用​
转换完成后，你可以在指定的输出路径找到生成的 GGUF 格式文件。可以通过一些工具或模型推理框架来验证转换后的文件是否可用。例如，在 llama.cpp 项目中，你可以使用相干的推理命令来加载转换后的 GGUF 模型举行测试。好比在命令行中运行：​

1. 取消自动换行复制
2. ./main -m output.gguf -p "你的测试问题"​

复制代码

如果能正常得到模型的答复，说明转换乐成，你现在就可以在相应系统中高效使用这个 GGUF 格式的模型啦。​
通过以上步骤，无论你使用的是 Windows、Mac 照旧 Linux 系统，都能顺利地使用 llama.cpp 将 safetensor 格式转换为 gguf 格式，为模型的使用带来更多便利与优化。赶紧动手试试吧！​

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。