利用LM Studio、Ollama+Chatbox AI为Macbook Pro(Mac M4 Pro)当地配置DeepS
提示：文章写完后，目录可以自动生成，怎样生成可参考右边的资助文档前言
安装预备：
1.安装包
1) LM Studio 官网下载：“LM-Studio-0.3.9-6-arm64.dmg”
https://i-blog.csdnimg.cn/direct/0c3a12b938d34593bea36a5d0a76f020.png#pic_center
2) Ollama 官网下载：“Ollama.app”
https://i-blog.csdnimg.cn/direct/f1c953905b6d436286b01a6331478867.png#pic_center
https://i-blog.csdnimg.cn/direct/2ac5a797ff7448dfb27d9fb9bd7f2860.png#pic_center
app下文件下载后可直接打开，建议粘贴至“/Applications”文件夹
只配置Ollama + Chatbox AI + DeepSeek 可以不看“ 前言 4) ”
3) Chatbox AI官网下载：“Chatbox-1.9.5-arm64.dmg”
https://i-blog.csdnimg.cn/direct/678d9171b92544c5b654a0339bf88797.png#pic_center
https://i-blog.csdnimg.cn/direct/0281480416a047eb82c14d6a53f293ef.png#pic_center
4) 下载DeepSeek“蒸馏”模型的二进制文件“.gguf”
Hugging Face官网：该网址可能必要外网服务
镜像下载地址 HF-mirror可以直接访问雷同Hugging Face
https://i-blog.csdnimg.cn/direct/a523504a95f34d1a93bbb30056c88a10.png#pic_center
https://i-blog.csdnimg.cn/direct/934e15d0fdae48d2b48f9dcc2e99217f.png#pic_center
这里笔者推荐各人根据自己需求和盘算机的本事选择符合模型
笔者的 M4 Pro 48G 内存，故选择了32B Q4量化的模型
https://i-blog.csdnimg.cn/direct/04ec9dcc21024fa68a5949903ab96813.png#pic_center
https://i-blog.csdnimg.cn/direct/dd5a143feb0d4234ad24c9b8bbae3927.png#pic_center
找到对应的“.gguf”文件后，为了直接下载到当地，选择“Files”
https://i-blog.csdnimg.cn/direct/f0a7d4fd4f28449ba7bf18408f8c9dc1.png#pic_center
至此我们预备好了所有必要的内容，下面开始安装和配置
一、LM Studio + DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf
1.配置模型
初次打开 LM Studio 选择右上角的“跳过”，选择右下角的“设置”图标，设置语言方便操纵
https://i-blog.csdnimg.cn/direct/cc0c5ab64cca4d0e87f5172378cf0612.png#pic_center
各人可以选择开发者模式方便利用
选择“我的模型” 举行配置，这里笔者更改了模型存放的路径，方便其他APP能够复用下载好的模型
模型的当地存放必要“两级目录”，“models”是目标文件夹，“.gguf”存放在“models”二级目录
https://i-blog.csdnimg.cn/direct/f43bdf7cf4534651b9583fcdf72e31c0.png#pic_center
https://i-blog.csdnimg.cn/direct/0c567108dae04e5880865f1637e3c403.png#pic_centerhttps://i-blog.csdnimg.cn/direct/107a1ab373524967b0abb57f8fdd1acf.png#pic_centerhttps://i-blog.csdnimg.cn/direct/09bff3ef092e4e9e849a909f9bb6356f.png#pic_center
二、Ollama + Chatbox
1. 配置模型
打开下载好Ollama，顶栏会体现相应的“小猪图标”https://i-blog.csdnimg.cn/direct/fa87f4d9a34f4a32a3831ad0c3a0d8ca.png#pic_center
打开下令行窗口（shell）举行操纵
查验是否正确安装
ollama -v
ollama --version
https://i-blog.csdnimg.cn/direct/4469ce48a4a04e46bf1c17494e8159c9.png#pic_center
1) 方法一：利用下令下载模型并配置（联网）
安装及运行下令：参考 ollama 官网
# DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5b
# DeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7b
# DeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8b
# DeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14b
# DeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32b
# DeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
首次运行会安装，第二次运行雷同下令会直接加载
https://i-blog.csdnimg.cn/direct/5d1b3799f7ea40f89251a147aea35de5.png#pic_center
退出下令行的谈天对话
/bye
https://i-blog.csdnimg.cn/direct/bb1ea1d900c642bbb3af3e23e3e474cd.png#pic_center
2) 方法二：加载已有模型
创建 Modelfile 文件，存放在“/Users/alon/.ollama”
# FROM .gguf的路径(建议绝对路径)
FROM /Users/alon/models/DeepSeek/R1/DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf
# 设定温度参数为1 [更高的更具有创新性，更低的更富有连贯性]
PARAMETER temperature 0.75
# 将上下文窗口大小设置为4096，这控制着LLM能够使用多少个token来生成下一个token。
PARAMETER num_ctx 4096
创建模型
# ollama create 模型名称 -f Modelfile路径
ollama create ds_32b -f /Users/alon/.ollama/Modelfile
https://i-blog.csdnimg.cn/direct/272940e8a69f426e8cbab274b3b26538.png#pic_center
https://i-blog.csdnimg.cn/direct/39f7e5065a6e4034985d4084d54cf090.png#pic_center
安装成功够也可以利用下令查看模型
ollama list
https://i-blog.csdnimg.cn/direct/13dee8fd59e44f91ae197bb0f6ceb43c.png#pic_center
运行模型即可举行下令行对话
# ollama run 模型名称
ollama run ds_32b
https://i-blog.csdnimg.cn/direct/a28e6417947349579385ba552ef723e0.png#pic_center
2.配置Chatbox AI
打开安装好Chatbox AI，顶栏会出现图标
https://i-blog.csdnimg.cn/direct/e62a8e3917864f9f9fcce57db69f37e6.png#pic_centerhttps://i-blog.csdnimg.cn/direct/8c09eec7891843eba8c0d18fe7cbd979.png#pic_center
https://i-blog.csdnimg.cn/direct/43c4d2b43ccf4dcba168aeccf63ab78e.png#pic_center
https://i-blog.csdnimg.cn/direct/7413b77ff6224167853f2023f097e9bb.png#pic_center
总结
至此，当地DeepSeek R1 蒸馏模型就配好了，各人可以根自己的谈天助手对话了
1.之所以下载 .gguf 文件配置，是为了淘汰存储浪费，LM Studio 和 Ollama 都可以利用该文件。
2.怎样自界说利用大模型，练习具有不同偏重和功能的模型之后的文章会探究。（Ollama 可以在已有的模型上创建新的模型，LM也可以，不同的对话窗口与同一模型的学习关系是怎样也在之后的文章探究）
本文知乎同稿：https://zhuanlan.zhihu.com/p/21158012148
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]