DeepSeek 大模子在 Mac 上的摆设和运行

打印 上一主题 下一主题

主题 1842|帖子 1842|积分 5526

不会还有人没用过 DeepSeek 吧 ?这热度简直炸上天。
  之前一直用 Cursor、豆包,现在 AI 雇员又要多一个 DeepSeek 了。
  
  不外 DeepSeek 的服务状态常常无响应,有须要在本地摆设一个,之前也尝试在本地摆设过 Meta 的开源大模子 Llama3 ,这次摆设也是得心应手了。
        参考文章:Meta Llama3 大模子在 Mac 上的摆设和运行
    DeepSeek 目前有 1.5b、7b、8b、14b、32b、70b、671b 多种参数范例可供选择。
  
  要是呆板性能扛不住,就选个 1.5b 吧,像我 64G 的 Mac Studio ,选个 32b 的也还可以。
  首先启动 Ollama ,然后在命令行运行如下命令:
  1. <!-- 按需替换 32b 参数 -->
  2. ollama run deepseek-r1:32b
复制代码
整个模子下载下来大概要占 20G 左右空间,接着就可以在命令行中进行对话了。
  
  可视化操作

  除了命令行中对话,还有不少开源工具提供了可视化操作,举两个用过的例子:
  

  • open-webui
  • page-assist
  我正在利用 page-assist ,可以作为 Chrome 欣赏器的插件来直接启动,简单快捷。
  
  运行效果也黑白常不错的,选择好对应的模子,就可以直接在网页中对话了。
  
  32b 内存压力测试

  提示词是 "写一段代码输出 a+b 的和" ,运行前内存是 23G 左右,运行后直接飙到 42G 左右,内存增量差不多干了 20G ,这要是呆板性能不敷还真跑不起来大模子。
  
  如果你的机子只有32G 或者更低,我发起是跑 14b 或者更低的吧,当然更好的选择 还是直接用在线服务,不用占用本地的呆板资源了
  

  推荐阅读:

  音视频开发工作经验分享 || 视频版

  OpenGL ES 学习资源分享
  开通专辑 | 细数那些年写过的技术文章专辑

  Android NDK 免费视频在线学习!!!

  你想要的音视频开发资料库来了

  推荐几个堪称教科书级别的 Android 音视频入门项目

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

没腿的鸟

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表