论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
ToB企服应用市场:ToB评测及商务社交产业平台
»
论坛
›
软件与程序人生
›
移动端开发
›
Mac下最细致的Ollama+Deepseek-r1 本地部署手册 ...
Mac下最细致的Ollama+Deepseek-r1 本地部署手册
冬雨财经
金牌会员
|
5 小时前
|
显示全部楼层
|
阅读模式
楼主
主题
842
|
帖子
842
|
积分
2526
Windows下面的部署手册已经有了,现在Mac下的Deepseek和Ollama的本地部署的最细致,让你最舒心的手册也来了!想在Mac上部署的朋侪看过来。
我的Mac是Mac Mini M4 16G的主机,只要是Mac体系呆板,部署都是一样的(当然,我是不会在我的Air上装的)。
现在,让我们从零开始,在Mac上先安装ollama,配置ollama相干路径,再到把Deepseek跑起来,最细致的步骤就在这里。
我们这篇会涉及四个部分:
安装Ollama
指定Ollama存放的模型文件路径
加载已经下载到本地的GGUF大模型文件
让其它终端可以访问这个Ollama。
后两部分内容是之前没有先容过的,但是Windows下的操作基本和这个一样,同样可以参考。
1. 安装Ollama:
Ollama的安装包可以直接从 ollama.com下载,安装包巨细大概200M
(鉴于很多朋侪无法下载ollama,这里给各人整理好了ollama的安装包,
扫描领取即可↓↓↓↓
)
Mac的安装包是一个名为Ollama-darwin.zip的文件,发起解压缩后拷贝到“应用”文件夹里。
拷贝后就可以在应用里看到Ollama的图标了
启动Ollama,第一次会提示你进行安装
同时会自动添加到Mac的自启动中,如果不想让它自动启动的话,可以取消
取消Ollama的自动启动
点击Next,会提示安装Ollama的下令行
输入管理员密码,就安装成功,并自动运行了
注意!先不要运行这个下令,运行这个下令的话Ollama就会自动下载并运行llama3.2的大模型,我们背面来安装Deepseek的模型
Ollama已经运行了,我们可以在状态栏看到它的图标
2. 指定Ollama的大模型文件存储的位置:
Mac下Ollama的默认路径在 /Users/<你的用户名>/.ollama;Ollama的本地模型的默认存储位置也在这个路径下面,是 /Users/<你的用户名>/.ollama/models
为了方便管理,我们设置Ollama的模型位置到指定的文件夹下。
好比我想把本地模型文件都放在 “/Users/<你的用户名>/LLM/ollama/models” 路径下,那我创建好这个文件夹后,通过在终端中运行下面的下令来设定Ollama的相干运行参数即可
launchctl setenv OLLAMA_MODELS "/Users/<你的用户名>/LLM/ollama/models"
复制代码
参考在这里https://github.com/ollama/ollama/blob/main/docs/faq.md#setting-environment-variables-on-mac
我们退出Ollama
在终端中运行ollama serve,可以看到环境变量已经改过来了。确认没题目后,我们可以用 “Ctrl+c”退出
点击Ollama的步伐,Ollama运行后,我们就可以通过" ollama run <模型名称> "的下令来让Ollama下载和运行本地大模型了,这里可以参考Windows的那一篇,操作和界面是一样的 Windows下最细致的Ollama+Deepseek-r1 本地部署手册
直接通过Ollama来和本地大模型交互很不方便,我们可以借助其它的客户端来进行交互,可以参考这篇来配置:用Chatbox或Page Assist方便的访问本地DeepSeek大模型
3. Ollama加载本地的大模型GGUF文件
有时用Ollama run或者pull命令来直接在Ollama中拉取大模型的时候,因为网络问题会报错,不能够拉取大模型到本地。Ollama是支持从下载好大模型GGUF文件导入模型的,这样我们就可以先用下载软件下载好我们想用的模型的GGUF文件,然后做导入,这样就方便多了。
复制代码
先在Ollama的 models目录下创建一个名为Modelfile的文本文件(没有后缀),我这里放在了上面设置的路径"/Users/<你的用户名>/LLM/ollama/models",这个文件界说了Ollama通过哪个GGUF文件导入大模型,以及自界说的一些参数。我是16G的Mac Mini,实行来跑一下14B量化后的模型。
# 这条必须有,定义从哪个GGUF文件来加载,如果文件不是在同一目录的话,建议写完整的绝对路径``FROM /Users/dapang/LLM/models/DeepSeek-R1-Distill-Qwen-14B-Q6_K_L.gguf``# 可选 设定temperature 的值,从零0 到 1,越高大模型越有创造性,适合创意类;越低越严谨,适合代码,具体操作的问答等,默认值是0.8``#PARAMETER temperature 0.7``# 可选,上下文窗口大小,设定大模型能够使用多少token来生成下一个token,越大支持的对话长度越高,但对于内存大小要求越高``# PARAMETER num_ctx 4096
复制代码
关于Modelfile文件的详细先容,可以参考
https://github.com/ollama/ollama/blob/main/docs/modelfile.md
在终端中进入Ollama的models目录,运行下面的下令,就会Ollama就会根据上面我们创建的Modelfiles文件的内容来读取GGUF和导入出一个名为“ds_16b”的模型了
ollama create ds_16b -f ./Modelfile
复制代码
验证
ollama list
复制代码
运行模型,就可以使用你本地的Deepseek了
ollama run ds_16b
复制代码
4. 让其它终端可以访问这个Ollama
默认Ollama的服务只允许本机访问,如果需要让其它设备也可以访问,需要将其它机器加入Ollama的访问列表,因为是在本地局域网内,所以我这里允许其它所有主机访问,这样同一个局域网里的人就都可以用了。
复制代码
Mac中运行下面的下令
launchctl setenv OLLAMA_HOST "0.0.0.0"``launchctl setenv OLLAMA_ORIGINS "*"
复制代码
Windows中在环境变量中加入下面两个变量,参考Windows下最细致的Ollama+Deepseek-r1 本地部署手册
OLLAMA_HOST=0.0.0.0``OLLAMA_ORIGINS=*
复制代码
在其它的设备上访问你的Ollama。以page assist为例,我在我的windows上来访问这个Ollama,Ollama url那里的IP地点写成Mac的即可。
看到这里,Deepseek-r1的模型已经在你的Mac上跑起来了,而且同一个局域网里人也可以访问它了,让各人一起用起来吧。
如何体系的去学习大模型LLM ?
大模型时代,火爆出圈的LLM大模型让步伐员们开始重新评估自己的本领。 “AI会取代那些行业?”“谁的饭碗又将不保了?”等题目热议不断。
事实上,
抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产物后,很多中小企业也陆续进场!
超高年薪,挖掘AI大模型人才!
如今大厂老板们,也更倾向于会AI的人,平凡步伐员,还有应对的机会吗?
与其焦急……
不如成为「掌握AI工具的技能人」,毕竟AI时代,
谁先实行,谁就能占得先机!
但是LLM相干的内容很多,现在网上的老课程老课本关于LLM又太少。所以现在小白入门就只能靠自学,学习本钱和门槛很高。
针对所有自学碰到困难的同学们,我帮各人体系梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包罗LLM大模型册本、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习蹊径、开源大模型学习教程等,
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
冬雨财经
金牌会员
这个人很懒什么都没写!
楼主热帖
信息与网络安全期末复习(完整版) ...
ts保姆级教程,别再说你不会ts了 ...
Elasticsearch学习系列五(零停机索引 ...
如何通过JDBC访问MySQL数据库?手把手 ...
iOS全埋点解决方案-手势采集 ...
Linux安装PHP8 新版笔记
有趣的特性:CHECK约束
Pod概述
React技术栈 --》 JSX语法书写JS和Reac ...
BLE蓝牙模块NRF518/NRF281/NRF528/NRF2 ...
标签云
挺好的
服务器
快速回复
返回顶部
返回列表