ToB企服应用市场:ToB评测及商务社交产业平台

标题: Mac下最细致的Ollama+Deepseek-r1 本地部署手册 [打印本页]

---

作者: 冬雨财经    时间: 9 小时前
标题: Mac下最细致的Ollama+Deepseek-r1 本地部署手册
Windows下面的部署手册已经有了，现在Mac下的Deepseek和Ollama的本地部署的最细致，让你最舒心的手册也来了！想在Mac上部署的朋侪看过来。
我的Mac是Mac Mini M4 16G的主机，只要是Mac体系呆板，部署都是一样的（当然，我是不会在我的Air上装的）。
现在，让我们从零开始，在Mac上先安装ollama，配置ollama相干路径，再到把Deepseek跑起来，最细致的步骤就在这里。
我们这篇会涉及四个部分：

• 安装Ollama
  
• 指定Ollama存放的模型文件路径
  
• 加载已经下载到本地的GGUF大模型文件
  
• 让其它终端可以访问这个Ollama。
  后两部分内容是之前没有先容过的，但是Windows下的操作基本和这个一样，同样可以参考。
  

1. 安装Ollama：
Ollama的安装包可以直接从 ollama.com下载，安装包巨细大概200M
（鉴于很多朋侪无法下载ollama，这里给各人整理好了ollama的安装包，扫描领取即可↓↓↓↓）

​

• Mac的安装包是一个名为Ollama-darwin.zip的文件，发起解压缩后拷贝到“应用”文件夹里。
  
• 拷贝后就可以在应用里看到Ollama的图标了
  
  
  
  
• 启动Ollama，第一次会提示你进行安装
  
  
  
  
• 同时会自动添加到Mac的自启动中，如果不想让它自动启动的话，可以取消
  
• 取消Ollama的自动启动
  
  
  
  
• 点击Next，会提示安装Ollama的下令行
  
  
  
  
• 输入管理员密码，就安装成功，并自动运行了
  
  
  
  
• 注意！先不要运行这个下令，运行这个下令的话Ollama就会自动下载并运行llama3.2的大模型，我们背面来安装Deepseek的模型
  
• Ollama已经运行了，我们可以在状态栏看到它的图标
  
  
  
  

2. 指定Ollama的大模型文件存储的位置：

• Mac下Ollama的默认路径在 /Users/<你的用户名>/.ollama；Ollama的本地模型的默认存储位置也在这个路径下面，是 /Users/<你的用户名>/.ollama/models
  
• 为了方便管理，我们设置Ollama的模型位置到指定的文件夹下。
  
• 好比我想把本地模型文件都放在 “/Users/<你的用户名>/LLM/ollama/models” 路径下，那我创建好这个文件夹后，通过在终端中运行下面的下令来设定Ollama的相干运行参数即可
  
  1. launchctl setenv OLLAMA_MODELS "/Users/<你的用户名>/LLM/ollama/models"

  复制代码
• 参考在这里https://github.com/ollama/ollama/blob/main/docs/faq.md#setting-environment-variables-on-mac
  
• 我们退出Ollama
  
  
  
  
• 在终端中运行ollama serve，可以看到环境变量已经改过来了。确认没题目后，我们可以用 “Ctrl+c”退出
  
  
  
  
• 点击Ollama的步伐，Ollama运行后，我们就可以通过" ollama run <模型名称> "的下令来让Ollama下载和运行本地大模型了，这里可以参考Windows的那一篇，操作和界面是一样的 Windows下最细致的Ollama+Deepseek-r1 本地部署手册
  
• 直接通过Ollama来和本地大模型交互很不方便，我们可以借助其它的客户端来进行交互，可以参考这篇来配置：用Chatbox或Page Assist方便的访问本地DeepSeek大模型
  

3. Ollama加载本地的大模型GGUF文件

1. 有时用Ollama run或者pull命令来直接在Ollama中拉取大模型的时候，因为网络问题会报错，不能够拉取大模型到本地。Ollama是支持从下载好大模型GGUF文件导入模型的，这样我们就可以先用下载软件下载好我们想用的模型的GGUF文件，然后做导入，这样就方便多了。

复制代码

• 先在Ollama的 models目录下创建一个名为Modelfile的文本文件（没有后缀），我这里放在了上面设置的路径"/Users/<你的用户名>/LLM/ollama/models"，这个文件界说了Ollama通过哪个GGUF文件导入大模型，以及自界说的一些参数。我是16G的Mac Mini，实行来跑一下14B量化后的模型。
  
  1. # 这条必须有，定义从哪个GGUF文件来加载，如果文件不是在同一目录的话，建议写完整的绝对路径``FROM /Users/dapang/LLM/models/DeepSeek-R1-Distill-Qwen-14B-Q6_K_L.gguf``# 可选 设定temperature 的值，从零0 到 1，越高大模型越有创造性，适合创意类；越低越严谨，适合代码，具体操作的问答等，默认值是0.8``#PARAMETER temperature 0.7``# 可选，上下文窗口大小，设定大模型能够使用多少token来生成下一个token，越大支持的对话长度越高，但对于内存大小要求越高``# PARAMETER num_ctx 4096

  复制代码
• 关于Modelfile文件的详细先容，可以参考
  https://github.com/ollama/ollama/blob/main/docs/modelfile.md
  
• 在终端中进入Ollama的models目录，运行下面的下令，就会Ollama就会根据上面我们创建的Modelfiles文件的内容来读取GGUF和导入出一个名为“ds_16b”的模型了
  

1. ollama create ds_16b -f ./Modelfile

复制代码

• 验证
  
  1. ollama list  

  复制代码
  
  
  
• 
  

• 运行模型，就可以使用你本地的Deepseek了
  
  1. ollama run ds_16b

  复制代码

4. 让其它终端可以访问这个Ollama

1. 默认Ollama的服务只允许本机访问，如果需要让其它设备也可以访问，需要将其它机器加入Ollama的访问列表，因为是在本地局域网内，所以我这里允许其它所有主机访问，这样同一个局域网里的人就都可以用了。

复制代码

• Mac中运行下面的下令
  
  1. launchctl setenv OLLAMA_HOST "0.0.0.0"``launchctl setenv OLLAMA_ORIGINS "*"

  复制代码
• Windows中在环境变量中加入下面两个变量，参考Windows下最细致的Ollama+Deepseek-r1 本地部署手册
  
  1. OLLAMA_HOST=0.0.0.0``OLLAMA_ORIGINS=*

  复制代码
• 在其它的设备上访问你的Ollama。以page assist为例，我在我的windows上来访问这个Ollama，Ollama url那里的IP地点写成Mac的即可。
  
  
  
  
  
  
  看到这里，Deepseek-r1的模型已经在你的Mac上跑起来了，而且同一个局域网里人也可以访问它了，让各人一起用起来吧。
  

如何体系的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让步伐员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等题目热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产物后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，平凡步伐员，还有应对的机会吗？
与其焦急……

不如成为「掌握AI工具的技能人」，毕竟AI时代，谁先实行，谁就能占得先机！
但是LLM相干的内容很多，现在网上的老课程老课本关于LLM又太少。所以现在小白入门就只能靠自学，学习本钱和门槛很高。
针对所有自学碰到困难的同学们，我帮各人体系梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包罗LLM大模型册本、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习蹊径、开源大模型学习教程等,

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4