IT评测·应用市场-qidao123.com

标题: Mac 基于 Ollama 安装 DeepSeek-R1（蒸馏版本）、AnythingLLM 及利用体验 [打印本页]

作者: 立聪堂德州十三局店 时间: 2025-3-6 08:55
标题: Mac 基于 Ollama 安装 DeepSeek-R1（蒸馏版本）、AnythingLLM 及利用体验
Mac 基于 Ollama 安装 DeepSeek-R1（蒸馏版本）、AnythingLLM 及利用体验

Ollama 简介

Ollama 是一个基于 TensorFlow 的开源项目，提供轻量级的 AI 运行时框架。它允许用户在本地环境中运行预练习的语言模型，无需依靠云端服务。

下载与安装 Ollama

下载 Ollama
从官网 Ollama 下载页获取 mac 版本。
安装
下载完成后，双击安装包并按照指引完成安装。

下载并运行 DeepSeek-R1

1. 在终端运行（建议从 8B 开始）

ollama run deepseek-r1:8b

复制代码

ollama run 是 Ollama 提供的下令行工具，用于在本地运行预练习模型，其基本功能包括：

加载本地模型文件：查抄本地存储路径，探求已下载的模型。
运行模型：启动一个本地服务，等待输入并天生输出。

2. 本地模型存储路径

cd $HOME/.ollama/models/manifests/registry.ollama.ai/library

复制代码

3. 终端测试

运行下令后，出现 >>> 提示符，即可输入问题进行测试。
4. 查询服务状态

ollama ps

复制代码

5. 退出服务

在 >>> 提示符后输入：

/bye

复制代码

下载并运行 AnythingLLM

1. 下载与安装

从 AnythingLLM 官网下载 mac 版本，双击安装。
2. 设置 LLM 偏好

在 “Search LLM providers” 选项中选择 “Ollama”。
3. 数据处理与隐私

Embedding 模型利用 AnythingLLM 自带的小模型。
向量存储利用其自带的向量库。

4. 创建工作空间

安装完成后，创建一个工作空间，然后即可输入和测试模型。

利用体验总结

✅ 优点：

在本地运行，无需依靠云端，数据更私密。
配置相对简单，适合开发者和 AI 研究者。

❌ 缺点：

笔记本轻易发烫：轻度利用时还可以接受。
AnythingLLM 现在版本问题：
- 似乎无法手动停止会话。
- 上下文管理轻易混乱。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)