Mac本地化部署deepseek+Ollama+Page Assist+AnythingLLM
最近deepseek ai发布了一个超强开源版本的大模子，本文旨在让各人在本身的Mac上10分钟部署deepseek并投喂数据创建属于本身的知识库。1、Mac安装Ollama
Download Ollama on macOS下载Mac OS的版本。
https://i-blog.csdnimg.cn/direct/53eb718117cc41b89e456f5f244aa432.png
下载的Ollama-darwin.zip解压为Ollama，放进应用程序里。
然后打开https://i-blog.csdnimg.cn/direct/e469d04d8b834eeeb62d34935f147fad.png，程序坞内会出现https://i-blog.csdnimg.cn/direct/3caaacb7d62f4df3b36a84fa5ca5949f.png并不会弹出窗口。
2、Chrome浏览器安装插件Page Assist
打开Chrome浏览器右上角-->>扩展程序-->>访问Chrome应用商店
https://i-blog.csdnimg.cn/direct/7908ea78c7a94b678d7fbab81b22a509.png
搜索Page Assist
https://i-blog.csdnimg.cn/direct/4527ede82fe44b61a9ae137f99ec9304.png
https://i-blog.csdnimg.cn/direct/1c926c05965b4739b09a90732b0888a7.png
并进行安装，安装完成后可以从扩展程序中打开
https://i-blog.csdnimg.cn/direct/d7394d3d4eeb47e393bf8578306b4046.png
3、拉取deepseek- R1模子
这里我使用的是M3芯片24GB内存的Macbook Air，我选择安装8B&14B的，可以根据本身的笔记本配置情况进行选择。
打开终端输入ollama run deepseek-r1:8B或14B即可，等待下载
https://i-blog.csdnimg.cn/direct/2239ef27b27a47e788314262268675fa.png
4、拉取nomic向量化模子
nomic-embed-text复制下载命令
https://i-blog.csdnimg.cn/direct/014618e0a9584d0db4d2d001c72f920c.png
打开终端复制命令ollama pull nomic-embed-text进行下载
https://i-blog.csdnimg.cn/direct/44b33f7b81784ad6ab43feff5eaa67d6.png
4、安装AnytingLLM
https://anythingllm.com/desktop下载对应系统芯片的安装包
https://i-blog.csdnimg.cn/direct/98143807edc849a38d984123f0f4f57b.png
以上都安装完成后我们开始进行配置使用
5、配置使用Chrome插件Page Assist
点击右上角小齿轮打开配置界面
https://i-blog.csdnimg.cn/direct/e9840d26193d4cd4ba38d4b1202e401c.png
初次打开记得设置一下语言，选择简体中文
https://i-blog.csdnimg.cn/direct/637fbd76069f43e8a83f1837ced4b415.png
打开管理模子可以看到我们已经下载的模子，没用的也可以从这里删除
https://i-blog.csdnimg.cn/direct/d100697dc9304c2a81fbc50f85d0fb33.png
打开RAG设置，配置文本嵌入模子，选择nomic-embed-text:latest,其他的默认
https://i-blog.csdnimg.cn/direct/671278b9c97f486fa811fafcc2f66076.png
这样我们就可以喂数据了，打开管理知识-->>添加新知识
https://i-blog.csdnimg.cn/direct/314fb45498bb4d8680eab2f92dac3ff5.png
上传完成后回到新聊天，选择大语言模子，下方引用干系知识库，然后就可以问题目了
https://i-blog.csdnimg.cn/direct/601d574fa80641d2bbacb26627f8937f.png
6、配置使用AnythingLLM
点击左下角小扳手进行配置
https://i-blog.csdnimg.cn/direct/5ae9effc02f14dd18d54fe9e619f3ce4.png
首次打开选在表面-->>Display Language-->>Chinese
https://i-blog.csdnimg.cn/direct/cafa68aac30f4dbe93aa6674d3e7518a.png
打开LLM首选项配置选择Ollama并选择本身已经下载的大语言模子，点击Save changes生存
https://i-blog.csdnimg.cn/direct/b22636ea3ed74c67a8fcb67fcfc72333.png
向量数据库我们选择默认的
https://i-blog.csdnimg.cn/direct/db38626498df48a1b4232d71dca8ce57.png
打开Embedder首选项配置嵌入引擎，选择Ollama选择nomic-embed-text:latest并生存更改
https://i-blog.csdnimg.cn/direct/7bea1b50cdc1401d8c5928ad3f8e1f8a.png
接着我们回答主页面创建工作区
https://i-blog.csdnimg.cn/direct/c1ac2532ccb740579c60e351898ca792.png
https://i-blog.csdnimg.cn/direct/95b496a678344991a18b460daa49c8f0.png
在已经创建的工作区里点击小齿轮进行配置
https://i-blog.csdnimg.cn/direct/d7e0a5f3a62b473d9d08fdf2bf2c7174.png
聊天设置-->>工作区LLM提供者选择Ollama并选择本身已经下载的大语言模子，点击Update workspacehttps://i-blog.csdnimg.cn/direct/7b5de2bbc09a4402a0bcece37457d460.png向量数据库保持默认
https://i-blog.csdnimg.cn/direct/4ff4c6d3343e46adabfcca3c42020996.png
代理配置和聊天配置一样，一点要点击Update workspace
https://i-blog.csdnimg.cn/direct/7d0a5395680c4c048b91ea555da5b229.png
都完成后可以点击工作区的上传箭头投喂数据,这里可以看到不仅可以投喂文本类的还有视频文件，各人可以本身尝试。
https://i-blog.csdnimg.cn/direct/81ccc6bfebb34678a594fc9dcfa4c156.png
数据上传后点击Save and Embed
https://i-blog.csdnimg.cn/direct/aa77800e08894672ab36b713b8487a0e.png
到这里就算都完成了，可以回到工作区进行提问了。
https://i-blog.csdnimg.cn/direct/7c318d651f15479b80dea11264d32bb8.png
最后再简朴说明一下这个工作流程
投喂数据
文档-->>上传至AnythingLLM-->>通过Ollama-->>调用Nomic Embed Text向量模子进行向量化转换转-->>Ollama-->>AnythingLLM-->>存储到本地的向量数据库LanceDB
提问回答
题目-->>AnythingLLM-->>Ollama-->>调用deepseek大语言模子-->>读取向量数据库LanceDB的内容-->>deepseek转换成普通易懂的笔墨描述-->>Ollama-->>通过AnythingLLM聊天界面展示-->>答案
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]