Mac 基于 Ollama 安装 DeepSeek-R1(蒸馏版本)、AnythingLLM 及利用体验 ...

打印 上一主题 下一主题

主题 979|帖子 979|积分 2937

Mac 基于 Ollama 安装 DeepSeek-R1(蒸馏版本)、AnythingLLM 及利用体验

Ollama 简介

Ollama 是一个基于 TensorFlow 的开源项目,提供轻量级的 AI 运行时框架。它允许用户在本地环境中运行预练习的语言模型,无需依靠云端服务。

下载与安装 Ollama


  • 下载 Ollama
    从官网 Ollama 下载页 获取 mac 版本。
  • 安装
    下载完成后,双击安装包并按照指引完成安装。

下载并运行 DeepSeek-R1

1. 在终端运行(建议从 8B 开始)

  1. ollama run deepseek-r1:8b
复制代码
ollama run 是 Ollama 提供的下令行工具,用于在本地运行预练习模型,其基本功能包括:


  • 加载本地模型文件:查抄本地存储路径,探求已下载的模型。
  • 运行模型:启动一个本地服务,等待输入并天生输出。
2. 本地模型存储路径

  1. cd $HOME/.ollama/models/manifests/registry.ollama.ai/library
复制代码
3. 终端测试

运行下令后,出现 >>> 提示符,即可输入问题进行测试。
4. 查询服务状态

  1. ollama ps
复制代码
5. 退出服务

在 >>> 提示符后输入:
  1. /bye
复制代码

下载并运行 AnythingLLM

1. 下载与安装

从 AnythingLLM 官网 下载 mac 版本,双击安装。
2. 设置 LLM 偏好

在 “Search LLM providers” 选项中选择 “Ollama”
3. 数据处理与隐私



  • Embedding 模型利用 AnythingLLM 自带的小模型。
  • 向量存储利用其自带的向量库。
4. 创建工作空间

安装完成后,创建一个工作空间,然后即可输入和测试模型。

利用体验总结

优点:


  • 在本地运行,无需依靠云端,数据更私密。
  • 配置相对简单,适合开发者和 AI 研究者。
缺点:


  • 笔记本轻易发烫:轻度利用时还可以接受。
  • AnythingLLM 现在版本问题

    • 似乎无法手动停止会话。
    • 上下文管理轻易混乱。


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

立聪堂德州十三局店

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表