qidao123.com技术社区-IT企服评测·应用市场

标题: 通过LlaMA-Factory导出的模型部署到Ollama [打印本页]

作者: 宝塔山 时间: 2025-2-28 07:37
标题: 通过LlaMA-Factory导出的模型部署到Ollama
LlaMA-Factory导出的模型转换格式
堆栈地址：https://github.com/ggerganov/llama.cpp
git clone堆栈之后，下载相干依赖：

cd /opt/gl/llama.cpp-master/llama.cpp-master
pip install -r requirements.txt

复制代码

转换大模型格式
转换为gguf格式

python convert_hf_to_gguf.py /opt/gl/model/lin_model --outfile /opt/gl/model/lin_model.gguf --outtype q8_0

复制代码

创建ModelFile文件

FROM D:\ollama\models\lin_model\lin_model.gguf

复制代码

添加自定义模型

ollama create lin_model -f D:\ollama\models\lin_model\ModelFile

复制代码

检察本地模型

运行本地大模型

ollama run lin_model:latest

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 qidao123.com技术社区-IT企服评测·应用市场 (https://dis.qidao123.com/)