通过LlaMA-Factory导出的模型部署到Ollama

LlaMA-Factory导出的模型转换格式
堆栈地址：https://github.com/ggerganov/llama.cpp
git clone堆栈之后，下载相干依赖：

1. cd /opt/gl/llama.cpp-master/llama.cpp-master
2. pip install -r requirements.txt

复制代码

转换大模型格式
转换为gguf格式

1. python convert_hf_to_gguf.py /opt/gl/model/lin_model --outfile /opt/gl/model/lin_model.gguf --outtype q8_0

复制代码

创建ModelFile文件

1. FROM D:\ollama\models\lin_model\lin_model.gguf

复制代码

添加自定义模型

1. ollama create lin_model -f D:\ollama\models\lin_model\ModelFile

复制代码

检察本地模型

运行本地大模型

1. ollama run lin_model:latest

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。