最近deepseek ai发布了一个超强开源版本的大模子,本文旨在让各人在本身的Mac上10分钟部署deepseek并投喂数据创建属于本身的知识库。
1、Mac安装Ollama
Download Ollama on macOS下载Mac OS的版本。
下载的Ollama-darwin.zip解压为Ollama,放进应用程序里。
然后打开,程序坞内会出现并不会弹出窗口。
2、Chrome浏览器安装插件Page Assist
打开Chrome浏览器右上角-->>扩展程序-->>访问Chrome应用商店
搜索Page Assist
并进行安装,安装完成后可以从扩展程序中打开
3、拉取deepseek- R1模子
这里我使用的是M3芯片24GB内存的Macbook Air,我选择安装8B&14B的,可以根据本身的笔记本配置情况进行选择。
打开终端输入ollama run deepseek-r1:8B或14B即可,等待下载
4、拉取nomic向量化模子
nomic-embed-text复制下载命令
打开终端复制命令ollama pull nomic-embed-text进行下载
4、安装AnytingLLM
https://anythingllm.com/desktop下载对应系统芯片的安装包
以上都安装完成后我们开始进行配置使用
5、配置使用Chrome插件Page Assist
点击右上角小齿轮打开配置界面
初次打开记得设置一下语言,选择简体中文
打开管理模子可以看到我们已经下载的模子,没用的也可以从这里删除
打开RAG设置,配置文本嵌入模子,选择nomic-embed-text:latest,其他的默认
这样我们就可以喂数据了,打开管理知识-->>添加新知识
上传完成后回到新聊天,选择大语言模子,下方引用干系知识库,然后就可以问题目了
6、配置使用AnythingLLM
点击左下角小扳手进行配置
首次打开选在表面-->>Display Language-->>Chinese
打开LLM首选项配置选择Ollama并选择本身已经下载的大语言模子,点击Save changes生存
向量数据库我们选择默认的
打开Embedder首选项配置嵌入引擎,选择Ollama选择nomic-embed-text:latest并生存更改
接着我们回答主页面创建工作区
在已经创建的工作区里点击小齿轮进行配置
聊天设置-->>工作区LLM提供者选择Ollama并选择本身已经下载的大语言模子,点击Update workspace向量数据库保持默认
代理配置和聊天配置一样,一点要点击Update workspace
都完成后可以点击工作区的上传箭头投喂数据,这里可以看到不仅可以投喂文本类的还有视频文件,各人可以本身尝试。
数据上传后点击Save and Embed
到这里就算都完成了,可以回到工作区进行提问了。
最后再简朴说明一下这个工作流程
投喂数据
文档-->>上传至AnythingLLM-->>通过Ollama-->>调用Nomic Embed Text向量模子进行向量化转换转-->>Ollama-->>AnythingLLM-->>存储到本地的向量数据库LanceDB
提问回答
题目-->>AnythingLLM-->>Ollama-->>调用deepseek大语言模子-->>读取向量数据库LanceDB的内容-->>deepseek转换成普通易懂的笔墨描述-->>Ollama-->>通过AnythingLLM聊天界面展示-->>答案
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |