冬雨财经 发表于 2025-3-1 07:46:30

Mac下最细致的Ollama+Deepseek-r1 本地部署手册

Windows下面的部署手册已经有了,现在Mac下的Deepseek和Ollama的本地部署的最细致,让你最舒心的手册也来了!想在Mac上部署的朋侪看过来。
我的Mac是Mac Mini M4 16G的主机,只要是Mac体系呆板,部署都是一样的(当然,我是不会在我的Air上装的)。
现在,让我们从零开始,在Mac上先安装ollama,配置ollama相干路径,再到把Deepseek跑起来,最细致的步骤就在这里。
我们这篇会涉及四个部分:

[*] 安装Ollama
[*] 指定Ollama存放的模型文件路径
[*] 加载已经下载到本地的GGUF大模型文件
[*] 让其它终端可以访问这个Ollama。
后两部分内容是之前没有先容过的,但是Windows下的操作基本和这个一样,同样可以参考。
1. 安装Ollama:
Ollama的安装包可以直接从 ollama.com下载,安装包巨细大概200M
(鉴于很多朋侪无法下载ollama,这里给各人整理好了ollama的安装包,扫描领取即可↓↓↓↓)

https://i-blog.csdnimg.cn/direct/a82be77bb1c1458ebce7cfbbac299eae.png#pic_center
​https://i-blog.csdnimg.cn/blog_migrate/35a667356d00b606992c228becf1f3a8.png


[*] Mac的安装包是一个名为Ollama-darwin.zip的文件,发起解压缩后拷贝到“应用”文件夹里。
[*] 拷贝后就可以在应用里看到Ollama的图标了
https://i-blog.csdnimg.cn/img_convert/da0f52f37bcd768abe1ac993ce2d1e4d.png
[*] 启动Ollama,第一次会提示你进行安装
https://i-blog.csdnimg.cn/img_convert/3e24e461d1923a27380f27c3691335c1.png
[*] 同时会自动添加到Mac的自启动中,如果不想让它自动启动的话,可以取消
[*] 取消Ollama的自动启动
https://i-blog.csdnimg.cn/img_convert/1193a9ad8490292e6ee8e7bfe1a15126.png
[*] 点击Next,会提示安装Ollama的下令行
https://i-blog.csdnimg.cn/img_convert/9569fe5f2a52ba2b730e25f9acbc1d59.png
[*] 输入管理员密码,就安装成功,并自动运行了
https://i-blog.csdnimg.cn/img_convert/28a2cfb48426923f61b74ce424fe3ea5.png
[*] 注意!先不要运行这个下令,运行这个下令的话Ollama就会自动下载并运行llama3.2的大模型,我们背面来安装Deepseek的模型
[*] Ollama已经运行了,我们可以在状态栏看到它的图标
https://i-blog.csdnimg.cn/img_convert/1707f61d3a1e8cf78aaa95566b1f95d8.png
2. 指定Ollama的大模型文件存储的位置:


[*] Mac下Ollama的默认路径在 /Users/<你的用户名>/.ollama;Ollama的本地模型的默认存储位置也在这个路径下面,是 /Users/<你的用户名>/.ollama/models
[*] 为了方便管理,我们设置Ollama的模型位置到指定的文件夹下。
[*] 好比我想把本地模型文件都放在 “/Users/<你的用户名>/LLM/ollama/models” 路径下,那我创建好这个文件夹后,通过在终端中运行下面的下令来设定Ollama的相干运行参数即可
launchctl setenv OLLAMA_MODELS "/Users/<你的用户名>/LLM/ollama/models"

[*] 参考在这里https://github.com/ollama/ollama/blob/main/docs/faq.md#setting-environment-variables-on-mac
[*] 我们退出Ollama
https://i-blog.csdnimg.cn/img_convert/80475eced1af3d91e209b9aa46001c52.png
[*] 在终端中运行ollama serve,可以看到环境变量已经改过来了。确认没题目后,我们可以用 “Ctrl+c”退出
https://i-blog.csdnimg.cn/img_convert/8ee86aa49dec454d88c9a2547cd619d5.png
[*] 点击Ollama的步伐,Ollama运行后,我们就可以通过" ollama run <模型名称> "的下令来让Ollama下载和运行本地大模型了,这里可以参考Windows的那一篇,操作和界面是一样的 Windows下最细致的Ollama+Deepseek-r1 本地部署手册
[*] 直接通过Ollama来和本地大模型交互很不方便,我们可以借助其它的客户端来进行交互,可以参考这篇来配置:用Chatbox或Page Assist方便的访问本地DeepSeek大模型
3. Ollama加载本地的大模型GGUF文件
有时用Ollama run或者pull命令来直接在Ollama中拉取大模型的时候,因为网络问题会报错,不能够拉取大模型到本地。Ollama是支持从下载好大模型GGUF文件导入模型的,这样我们就可以先用下载软件下载好我们想用的模型的GGUF文件,然后做导入,这样就方便多了。


[*] 先在Ollama的 models目录下创建一个名为Modelfile的文本文件(没有后缀),我这里放在了上面设置的路径"/Users/<你的用户名>/LLM/ollama/models",这个文件界说了Ollama通过哪个GGUF文件导入大模型,以及自界说的一些参数。我是16G的Mac Mini,实行来跑一下14B量化后的模型。
# 这条必须有,定义从哪个GGUF文件来加载,如果文件不是在同一目录的话,建议写完整的绝对路径``FROM /Users/dapang/LLM/models/DeepSeek-R1-Distill-Qwen-14B-Q6_K_L.gguf``# 可选 设定temperature 的值,从零0 到 1,越高大模型越有创造性,适合创意类;越低越严谨,适合代码,具体操作的问答等,默认值是0.8``#PARAMETER temperature 0.7``# 可选,上下文窗口大小,设定大模型能够使用多少token来生成下一个token,越大支持的对话长度越高,但对于内存大小要求越高``# PARAMETER num_ctx 4096

[*] 关于Modelfile文件的详细先容,可以参考
https://github.com/ollama/ollama/blob/main/docs/modelfile.md
[*] 在终端中进入Ollama的models目录,运行下面的下令,就会Ollama就会根据上面我们创建的Modelfiles文件的内容来读取GGUF和导入出一个名为“ds_16b”的模型了
ollama create ds_16b -f ./Modelfile
https://i-blog.csdnimg.cn/img_convert/47f5416f29058ae03abd03caa2e70cc7.png


[*] 验证
ollama list
https://i-blog.csdnimg.cn/img_convert/8d0f0f8220fab1563796f687256ef7af.png
[*]


[*] 运行模型,就可以使用你本地的Deepseek了
ollama run ds_16b

4. 让其它终端可以访问这个Ollama
默认Ollama的服务只允许本机访问,如果需要让其它设备也可以访问,需要将其它机器加入Ollama的访问列表,因为是在本地局域网内,所以我这里允许其它所有主机访问,这样同一个局域网里的人就都可以用了。


[*] Mac中运行下面的下令
launchctl setenv OLLAMA_HOST "0.0.0.0"``launchctl setenv OLLAMA_ORIGINS "*"

[*] Windows中在环境变量中加入下面两个变量,参考Windows下最细致的Ollama+Deepseek-r1 本地部署手册
OLLAMA_HOST=0.0.0.0``OLLAMA_ORIGINS=*

[*] 在其它的设备上访问你的Ollama。以page assist为例,我在我的windows上来访问这个Ollama,Ollama url那里的IP地点写成Mac的即可。
https://i-blog.csdnimg.cn/img_convert/9d0e5f9929a9848839b767f53bce8d57.png
https://i-blog.csdnimg.cn/img_convert/30c71e3e4a44d8bcf63ba25fc97157ed.png
看到这里,Deepseek-r1的模型已经在你的Mac上跑起来了,而且同一个局域网里人也可以访问它了,让各人一起用起来吧。
如何体系的去学习大模型LLM ?

大模型时代,火爆出圈的LLM大模型让步伐员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等题目热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产物后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,平凡步伐员,还有应对的机会吗?
与其焦急……

不如成为「掌握AI工具的技能人」,毕竟AI时代,谁先实行,谁就能占得先机!
但是LLM相干的内容很多,现在网上的老课程老课本关于LLM又太少。所以现在小白入门就只能靠自学,学习本钱和门槛很高。
针对所有自学碰到困难的同学们,我帮各人体系梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包罗LLM大模型册本、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习蹊径、开源大模型学习教程等,
页: [1]
查看完整版本: Mac下最细致的Ollama+Deepseek-r1 本地部署手册