利用LM Studio、Ollama+Chatbox AI为Macbook Pro(Mac M4 Pro)当地配置DeepS ...

提示：文章写完后，目录可以自动生成，怎样生成可参考右边的资助文档
  
  

---

前言

安装预备：
1.安装包

1) LM Studio 官网下载：“LM-Studio-0.3.9-6-arm64.dmg”

2) Ollama 官网下载：“Ollama.app”

app下文件下载后可直接打开，建议粘贴至“/Applications”文件夹
只配置Ollama + Chatbox AI + DeepSeek 可以不看“ 前言 4) ”
3) Chatbox AI官网下载：“Chatbox-1.9.5-arm64.dmg”

4) 下载DeepSeek“蒸馏”模型的二进制文件“.gguf”

Hugging Face官网：该网址可能必要外网服务
镜像下载地址 HF-mirror可以直接访问雷同Hugging Face

这里笔者推荐各人根据自己需求和盘算机的本事选择符合模型
笔者的 M4 Pro 48G 内存，故选择了32B Q4量化的模型

找到对应的“.gguf”文件后，为了直接下载到当地，选择“Files”

至此我们预备好了所有必要的内容，下面开始安装和配置

---

一、LM Studio + DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf

1.配置模型

初次打开 LM Studio 选择右上角的“跳过”，选择右下角的“设置”图标，设置语言方便操纵

各人可以选择开发者模式方便利用
选择“我的模型” 举行配置，这里笔者更改了模型存放的路径，方便其他APP能够复用下载好的模型
模型的当地存放必要“两级目录”，“models”是目标文件夹，“.gguf”存放在“models”二级目录

---

二、Ollama + Chatbox

1. 配置模型

打开下载好Ollama，顶栏会体现相应的“小猪图标”

打开下令行窗口（shell）举行操纵
查验是否正确安装

1. ollama -v
2. ollama --version

复制代码

1) 方法一：利用下令下载模型并配置（联网）

安装及运行下令：参考 ollama 官网

1. # DeepSeek-R1-Distill-Qwen-1.5B
2. ollama run deepseek-r1:1.5b
4. # DeepSeek-R1-Distill-Qwen-7B
5. ollama run deepseek-r1:7b
7. # DeepSeek-R1-Distill-Llama-8B
8. ollama run deepseek-r1:8b
10. # DeepSeek-R1-Distill-Qwen-14B
11. ollama run deepseek-r1:14b
13. # DeepSeek-R1-Distill-Qwen-32B
14. ollama run deepseek-r1:32b
16. # DeepSeek-R1-Distill-Llama-70B
17. ollama run deepseek-r1:70b

复制代码

首次运行会安装，第二次运行雷同下令会直接加载

退出下令行的谈天对话

1. /bye

复制代码

2) 方法二：加载已有模型

创建 Modelfile 文件，存放在“/Users/alon/.ollama”

1. # FROM .gguf的路径(建议绝对路径)
2. FROM /Users/alon/models/DeepSeek/R1/DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf
4. # 设定温度参数为1 [更高的更具有创新性，更低的更富有连贯性]
5. PARAMETER temperature 0.75
7. # 将上下文窗口大小设置为4096，这控制着LLM能够使用多少个token来生成下一个token。
8. PARAMETER num_ctx 4096

复制代码

创建模型

1. # ollama create 模型名称 -f Modelfile路径
2. ollama create ds_32b -f /Users/alon/.ollama/Modelfile

复制代码

安装成功够也可以利用下令查看模型

1. ollama list

复制代码

运行模型即可举行下令行对话

1. # ollama run 模型名称
2. ollama run ds_32b

复制代码

2.配置Chatbox AI

打开安装好Chatbox AI，顶栏会出现图标

---

总结

至此，当地DeepSeek R1 蒸馏模型就配好了，各人可以根自己的谈天助手对话了
1.之所以下载 .gguf 文件配置，是为了淘汰存储浪费，LM Studio 和 Ollama 都可以利用该文件。
2.怎样自界说利用大模型，练习具有不同偏重和功能的模型之后的文章会探究。（Ollama 可以在已有的模型上创建新的模型，LM也可以，不同的对话窗口与同一模型的学习关系是怎样也在之后的文章探究）
本文知乎同稿：https://zhuanlan.zhihu.com/p/21158012148

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。