MacOS 10.15上能跑大语言模型吗?

打印 上一主题 下一主题

主题 1616|帖子 1616|积分 4848

MacOS 10.15.7(发布于2020年9月)作为已经发布了快要5年的系统版本可以或许运行当今盛行的大语言模型吗?这篇文章扼要介绍了在MacOS 10.15上通过Ollama运行deepseek-r1模型的过程。
下载安装Ollama

Ollama是一个开源工具,可以资助我们在当地快速部署和运行大语言模型。访问Ollama官网,可以看到它支持三大主流操纵系统Windows、Linux和Mac。macOS需要macOS 11 Big Sur或更高版本。
   
  忽略这个提示下载后,发现可以正常安装Ollama 0.6.5版本在MacOS 10.15上(实践出真知啊)。安装后运行Ollama会引导我们去进一步安装Ollama的命令行。   
  命令行工具安装完成后,就可以在终端里使用 ollama 命令了。
运行大语言模型

打开终端输入下面的命令
   ollama run deepseek-r1:14b
  这条命令会下载并运行约莫9GB左右的deekseep-r1 14b的大模型。下载完成后,在ollama命令行中输入文字就可以向deepseek提出各种题目了。于是我敲下了我的题目 1加1即是几
接着电脑进入了近乎无响应的状态,鼠标和键盘响应速率非常慢,CPU占用率非常高。我就这样让deepseek肆意的跑了20多分钟,最终在屏幕上得到了四五个汉字输出,看起来deepseek还在努力的工作,但我已经无法忍受了。调出任务管理器杀掉了ollama进程,电脑规复正常。
是不是我的题目太复杂了,导致deepseek需要消耗很多的资源?于是我简化了我的题目,直接把这个算式 1+1=? 给到deepseek。用电脑计算器是可以瞬间得到正确答案的,但deepseek好像还是把题目想复杂了,在苦苦等待N分钟后,电脑死机了。
岂非这台产于2012年的Macbook Pro真的没法运行大语言模型吗?突然想到deepseek另有参数量更小的模型。于是输入下面的命令去下载并运行最小参数量的deepseek-r1模型。
   ollama run deepseek-r1:1.5b
  同样的题目给到deepseek,这一次很快得到了deepseek的答复。

看来只要选择合适的模型,MacOS 10.15也是能跑起来大语言模型的。
引申出的题目



  • 如何挑选合适的大模型呢?
    在 Ollama的library页面 能找到它支持的全部模型,这么多模型该如何挑选呢?通过进一步的调研,我了解到差别的大模型对硬件资源(显存、内存、CPU)的需求是差别的。差别的模型有差别的特性,有些模型还会依赖特定的CPU,好比AMD的GAIA。选择合适的大模型也是有学问的呢。
  • 为什么我手头的Macbook Pro 2012运行不了deepseek-r1:14b呢?什么电脑能运行14b的模型呢?
    Macbook Pro 2012 硬件手册中查到硬件设置:4核CPU、集成显卡和Nvidia显卡(1GB显存)智能切换、 8GB内存。和近几年的苹果电脑比确实有很大的差距。Macbook Pro 2022 可以轻松运行14b的deepseek-r1,硬件设置:8核CPU、10核GPU、16核神经网络引擎、24GB内存。估计2025年的电脑运行大模型应该有更好的结果。
  • 当地电脑运行起来的大模型有什么用呢?
    deepseek、chatgpt等等都可以在网页里运行,有什么须要在当地电脑运行大模型呢?后续再讲吧 : - )

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

十念

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表