Mac本地化部署deepseek+Ollama+Page Assist+AnythingLLM

打印 上一主题 下一主题

主题 855|帖子 855|积分 2565

最近deepseek ai发布了一个超强开源版本的大模子,本文旨在让各人在本身的Mac上10分钟部署deepseek并投喂数据创建属于本身的知识库。
1、Mac安装Ollama 
Download Ollama on macOS下载Mac OS的版本。

下载的Ollama-darwin.zip解压为Ollama,放进应用程序里。
然后打开
,程序坞内会出现
并不会弹出窗口。
2、Chrome浏览器安装插件Page Assist
打开Chrome浏览器右上角-->>扩展程序-->>访问Chrome应用商店

搜索Page Assist


并进行安装,安装完成后可以从扩展程序中打开

3、拉取deepseek- R1模子
这里我使用的是M3芯片24GB内存的Macbook Air,我选择安装8B&14B的,可以根据本身的笔记本配置情况进行选择。
打开终端输入ollama run deepseek-r1:8B或14B即可,等待下载

4、拉取nomic向量化模子
nomic-embed-text复制下载命令

打开终端复制命令ollama pull nomic-embed-text进行下载

4、安装AnytingLLM
https://anythingllm.com/desktop下载对应系统芯片的安装包

以上都安装完成后我们开始进行配置使用
5、配置使用Chrome插件Page Assist
点击右上角小齿轮打开配置界面

初次打开记得设置一下语言,选择简体中文

打开管理模子可以看到我们已经下载的模子,没用的也可以从这里删除

打开RAG设置,配置文本嵌入模子,选择nomic-embed-text:latest,其他的默认

这样我们就可以喂数据了,打开管理知识-->>添加新知识

上传完成后回到新聊天,选择大语言模子,下方引用干系知识库,然后就可以问题目了

6、配置使用AnythingLLM
点击左下角小扳手进行配置

首次打开选在表面-->>Display Language-->>Chinese

打开LLM首选项配置选择Ollama并选择本身已经下载的大语言模子,点击Save changes生存

向量数据库我们选择默认的

打开Embedder首选项配置嵌入引擎,选择Ollama选择nomic-embed-text:latest并生存更改

接着我们回答主页面创建工作区


在已经创建的工作区里点击小齿轮进行配置

聊天设置-->>工作区LLM提供者选择Ollama并选择本身已经下载的大语言模子,点击Update workspace
向量数据库保持默认

代理配置和聊天配置一样,一点要点击Update workspace

都完成后可以点击工作区的上传箭头投喂数据,这里可以看到不仅可以投喂文本类的还有视频文件,各人可以本身尝试。

数据上传后点击Save and Embed

到这里就算都完成了,可以回到工作区进行提问了。

最后再简朴说明一下这个工作流程
投喂数据
文档-->>上传至AnythingLLM-->>通过Ollama-->>调用Nomic Embed Text向量模子进行向量化转换转-->>Ollama-->>AnythingLLM-->>存储到本地的向量数据库LanceDB
提问回答
题目-->>AnythingLLM-->>Ollama-->>调用deepseek大语言模子-->>读取向量数据库LanceDB的内容-->>deepseek转换成普通易懂的笔墨描述-->>Ollama-->>通过AnythingLLM聊天界面展示-->>答案





免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

半亩花草

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表