媒介
现在大量成熟的开源大模型和周边生态工具，基于开源大模型和工具，如检索增强天生（RAG）甚至模型微调等，可以轻松的搭建一个私有的AIGC知识库。
本文通过Qwen7B大模型，以及Ollama、AnythingLLM等搭建无需网络就可使用的当地私有知识库。
相关知识
Qwen是指阿里云开发的一种大型语言模型（Large Language Model, LLM）。
Ollama是专为在当地呆板上便捷部署和运行大语言模型LLM而研发的开源工具。
AnythingLLM是基于 LLM ，集成 RAG、向量数据库和Agent的工具，可以选择设置不同的 LLM 或向量数据库，能够将任何文档、网页链接、音视频文件等转化为 LLM 可以明白的上下文信息。
大模型微调必要输入大量的资料训练完善已有大模型，会消耗大量的GPU等，一般私有知识库直接用检索增强天生RAG（Retrieval-augmented Generation）技术即可，能更快速、精准、稳定、经济的达成预期检索结果。
整体技术关系如下：
搭建方法
整体搭建步骤：
- 下载Ollama到当地 https://ollama.com/download，默认端口11434
- 下载大模型https://ollama.com/library，比如我下载的Qwen7B https://ollama.com/library/qwen:7b，直接控制台命令执行ollama run qwen:7b
- 安装AnythingLLM Download AnythingLLM for Desktop, LLM选择Ollma，并如下图选择对应的qwen:7b大模型
- AnythingLLM选择向量数据库，这里用默认嵌入式的LanceDB即可
- 选择Embedder， 这里执行命令安装Embedding模型：ollama pull nomic-embed-text。然后如下图，选择用Ollama，选择Embedding模型：nomic-embed-text
Qwen7B下载下来后，默认在当前用户的.ollama/models/blobs目录，我当地看到有4G+
AnythingLLM通过3001端口提供API接口，文档http://localhost:3001/api/docs/#/ ：
当希望回复问题的结果团结本身私有文档的知识，必要用到这里的RAG工具，比如上传本身私有文档做数据提取，内部文本分割向量化（embedding），然后入库向量数据库。工作区直接上传，如图：
如许大模型回复的问题，结果上就会看到团结了本身私有知识库内容。
问答结果
通过上面的操纵，当地离线状态也可以询问问题并得到相应结果，这里用3个场景来查看结果：
- 询问常规问题
- 询问大模型能明白的词，但本身的私有知识库对该词语有本身的一些重新解释。
- 询问大模型不存在的词，但本身的私有知识库有该词语的一些解释
下面是本身建了一个文档，分别重新解释了“新质生产力”，以及解释了“city不city”的新词，文档如下：
新质生产力是创新起主导作用，摆脱传统经济增长方式、生产力发展路径，具有高科技、高效能、高质量特征，符合新发展理念的先进生产力质态。它由技术革命性突破、生产要素创新性设置、产业深度转型升级而催生。以劳动者、劳动资料、劳动对象及其优化组合的跃升为根本内在，以全要素生产率大幅提拔为核心标志，特点是创新，关键在质优，本质是先进生产力。
city不city是来华旅游的外国博主发明的网络热词，网络盛行语，形容时髦不时髦、洋气不洋气。city不city源自于一种新的打卡方式，用于表达对某个都会的态度或感受。已在旅游打卡、时尚穿搭和一样寻常生存等领域盛行了起来.
常规问题，根本能较好的天生，如果呆板足够好下载更大的模型结果会更好，我当地Qwen7B 的结果如下：
下面尝试问题里包罗“新质生产力”，未上传本身私有知识库前结果：
按照上面的私有文档上传后，问题的答案就团结了本身知识库的内容，如下：
大模型回复的结果，不仅包罗知识库里的“具有高科技、高效能、高质量特征”等说明，也有本身思索后整合的一些解答。
下面尝试问题“city不city”，未上传本身私有知识库前结果：
按照上面的私有文档上传后，问题的答案就团结了本身知识库的内容，如下：
回复的结果里就团结了个人知识库的“旅游打卡”，“网络盛行语”等内容，也有本身思索后整合的解答内容。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
