论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
IT评测·应用市场-qidao123.com技术社区
»
论坛
›
软件与程序人生
›
DevOps与敏捷开发
›
MacOS 10.15上能跑大语言模型吗?
MacOS 10.15上能跑大语言模型吗?
十念
论坛元老
|
6 天前
|
显示全部楼层
|
阅读模式
楼主
主题
1616
|
帖子
1616
|
积分
4848
MacOS 10.15.7(发布于2020年9月)作为已经发布了快要5年的系统版本可以或许运行当今盛行的大语言模型吗?这篇文章扼要介绍了在MacOS 10.15上通过Ollama运行deepseek-r1模型的过程。
下载安装Ollama
Ollama是一个开源工具,可以资助我们在当地快速部署和运行大语言模型。访问Ollama官网,可以看到它支持三大主流操纵系统Windows、Linux和Mac。macOS需要macOS 11 Big Sur或更高版本。
忽略这个提示下载后,发现可以正常安装Ollama 0.6.5版本在MacOS 10.15上(实践出真知啊)。安装后运行Ollama会引导我们去进一步安装Ollama的命令行。
命令行工具安装完成后,就可以在终端里使用
ollama
命令了。
运行大语言模型
打开终端输入下面的命令
ollama run deepseek-r1:14b
这条命令会下载并运行约莫9GB左右的deekseep-r1 14b的大模型。下载完成后,在ollama命令行中输入文字就可以向deepseek提出各种题目了。于是我敲下了我的题目
1加1即是几
接着电脑进入了近乎无响应的状态,鼠标和键盘响应速率非常慢,CPU占用率非常高。我就这样让deepseek肆意的跑了20多分钟,最终在屏幕上得到了四五个汉字输出,看起来deepseek还在努力的工作,但我已经无法忍受了。调出任务管理器杀掉了ollama进程,电脑规复正常。
是不是我的题目太复杂了,导致deepseek需要消耗很多的资源?于是我简化了我的题目,直接把这个算式
1+1=?
给到deepseek。用电脑计算器是可以瞬间得到正确答案的,但deepseek好像还是把题目想复杂了,在苦苦等待N分钟后,电脑死机了。
岂非这台产于2012年的Macbook Pro真的没法运行大语言模型吗?突然想到deepseek另有参数量更小的模型。于是输入下面的命令去下载并运行最小参数量的deepseek-r1模型。
ollama run deepseek-r1:1.5b
同样的题目给到deepseek,这一次很快得到了deepseek的答复。
看来只要选择合适的模型,MacOS 10.15也是能跑起来大语言模型的。
引申出的题目
如何挑选合适的大模型呢?
在 Ollama的library页面 能找到它支持的全部模型,这么多模型该如何挑选呢?通过进一步的调研,我了解到差别的大模型对硬件资源(显存、内存、CPU)的需求是差别的。差别的模型有差别的特性,有些模型还会依赖特定的CPU,好比AMD的GAIA。选择合适的大模型也是有学问的呢。
为什么我手头的Macbook Pro 2012运行不了deepseek-r1:14b呢?什么电脑能运行14b的模型呢?
Macbook Pro 2012 硬件手册中查到硬件设置:4核CPU、集成显卡和Nvidia显卡(1GB显存)智能切换、 8GB内存。和近几年的苹果电脑比确实有很大的差距。Macbook Pro 2022 可以轻松运行14b的deepseek-r1,硬件设置:8核CPU、10核GPU、16核神经网络引擎、24GB内存。估计2025年的电脑运行大模型应该有更好的结果。
当地电脑运行起来的大模型有什么用呢?
deepseek、chatgpt等等都可以在网页里运行,有什么须要在当地电脑运行大模型呢?后续再讲吧 : - )
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
十念
论坛元老
这个人很懒什么都没写!
楼主热帖
Velero系列文章(四):使用Velero进行 ...
Kali Linux利用MSF入侵安卓手机(小白版 ...
C/C++函数的调用约定详解
SonarQube安全扫描
三天吃透Kafka面试八股文
Android Studio 实现登录注册-源代码 ...
微光互联 TX800-U 扫码器无法输出中文 ...
xmrig挖矿样本分析 miner
Python嘎嘎涨知识的7个小游戏,玩过的 ...
Java多线程(一篇从0讲透)
标签云
AI
运维
CIO
存储
服务器
浏览过的版块
网络安全
鸿蒙
备份
数据仓库与分析
分布式数据库
快速回复
返回顶部
返回列表