以 DeepSeek-R1-Distill-Qwen-7B-GGUF 为例,模版参考信息:
ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-7B-GGUF
实行框架:Ollama
模型加载方式:单文件加载
GGUF 文件:DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
ModelScope ID:lmstudio-community/DeepSeek-R1-Distill-Qwen-14B-GGUF
GGUF 文件:DeepSeek-R1-Distill-Qwen-14B-Q4_K_M.gguf
更多 ollama 参数配置如 params,template 等,可参考DeepSeek ollama library
14B及以上模型需在资源配置中使用 Ada 系显卡,并且推荐使用全卡预留(48G显存);验证模型服务
欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/) | Powered by Discuz! X3.4 |