开源一个RAG大模子本地知识库问答机器人-ChatWiki

简介： 准备工作再安装ChatWiki之前，您需要准备一台具有联网功能的linux服务器，并确保服务器满意最低体系要求• Cpu：最低需要2 Core• RAM：最低需要4GB开始安装ChatWiki社区版基于Docker摆设，请先确保服务器已经安装好Docker。如果没有安装，可以通过以下命令安装：
目前大模子非常火爆，很多企业一直想把大模子用在企业的客服中，但是根本上没有太多的成功案例。这个事情，我思考了下
1. 企业的客服服务是非常严谨的，不能乱回答。
比如在电商场景，用户说这个产品是否可以退款， 那大模子如果回答说可以。如果产品价格非常高，比如在1万以上，那么这个产品是不是要退款？损失谁来回答。 以是企业必须要机器人严格按照企业的知识库的要求来，不能乱回答
2.企业的资料的保密性
目前的大模子，当你把资料传给大模子的时候，实际上，你把资料也给机器人当做语料去训练机器人了，你的文档就是公开的文档了，这对许多企业来说，根本上不会把敏感资料传给大模子了
还记得之前网上报道过，三星把一个芯片资料传给大模子，导致敏感技术资料泄密的标题。
ChatGPT「奶奶漏洞」又火了，扮演过世祖母讲睡前故事，骗出Win11序列号

3 大模子从问答，到企业摆设到本身的客服渠道，有大多的工作量
大模子提高了接口，提供了笔墨问答能力，但是，企业的客户咨询，是从
1 APP里
2 公司官网
3 公众号，小程序，视频号
4 抖音
5 小红书
6 微博
这么渠道，各个场景都要去覆盖，一样寻常的企业根本就没这个开发实力。
基于这个想法，我就想做个基于大模子的问答机器人，完全买通小程序客服，微信公众号客服，视频号小店客服，H5APP客服，公司官网，摆设简朴。这样企业就很方便的摆设起来。
我的想法是
**方法一：渠道统一管理， 把常用的渠道，全部默认支持到
**

方法二 ：将企业知识库管理简朴化
直接将doc，网址，pdf ，excel 直接上传到，就可以支持基于知识库的问答了。

上传的知识库，进行分段embedding操作

最后创建机器人，关联这个知识库，就可以对外提供服务了

以下是我们的架构图

下面是具体的一些介绍
ChatWiki

ChatWiki是一款开源的知识库 AI 问答体系。体系基于大语言模子（LLM ）和检索增强天生（RAG）技术构建，提供开箱即用的数据处理、模子调用等能力，可以帮助企业快速搭建本身的知识库 AI 问答体系。
能力

---

1、专属 AI 问答体系
通过导入企业已有知识构建知识库，让 AI 机器人使用关联的知识库回答标题，快速构建企业专属 AI 问答体系。
2、一键接入模子
ChatWiki已支持全球20多种主流模子，只需要简朴配置模子API key等信息即可成功接入模子。
3、数据自动预处理
提供自动分段、QA分段、手动输入和 CSV 等多种方式导入数据，ChatWiki自动对导入的文本数据进行预处理、向量化或 QA 分割。
4、简朴易用的使用方式
ChatWiki接纳直观的可视化界面设计，通过简洁易懂的操作步骤，可以轻松完成 AI 问答机器人和知识库的创建。
5、适配差别业务场景
ChatWiki为 AI 问答机器人提供了差别的使用渠道，支持H5链接、嵌入网站、绑定到微信公众号或小程序、桌面客户端等，可以满意企业差别业务场景使用需求。
开始使用

---

准备工作
再安装ChatWiki之前，您需要准备一台具有联网功能的linux服务器，并确保服务器满意最低体系要求

• Cpu：最低需要2 Core
  
• RAM：最低需要4GB
  

开始安装
ChatWiki社区版基于Docker摆设，请先确保服务器已经安装好Docker。如果没有安装，可以通过以下命令安装：

1. sudo curl -sSL https://get.docker.com/ | CHANNEL=stable sh

复制代码

安装好Docker后，逐步实验一下步骤安装ChatWiki社区版
(1).克隆或下载chatwiki项目代码
git clone https://github.com/zhimaAi/chatwiki.gitnewsbriefpoundbpress
(2).使用Docker Compose构建并启动项目
cd chatwiki/docker
docker compose up -d
摆设手册
在安装和摆设中有任何标题或者建议，可以联系我们获取帮助，也可以参考下面的文档。

• 一键摆设ChatWiki社区版
  
• 怎样配置模子供应商及支持的模子
  
• 本地模子摆设
  
• 怎样配置对外服务和汲取推送的域名
  
• 免Docker摆设ChatWiki
  
• 怎样获取大模子ApiKey
  

界面

---

技术架构

---

技术栈

---

• 前端：vue.js
  
• 后端：golang +python
  
• 数据库：PostgreSQL16+pgvector+zhparser
  
• 缓存：redis5.0
  
• web服务：nginx
  
• 异步队列：nsq
  
• 历程管理：supervisor
  
• 模子：支持OpenAI、Google Gemini、Claude3、通义千文、文心一言、讯飞星火、百川、腾讯混元等模子。
  

怎样体系的去学习大模子LLM ？

大模子时代，火爆出圈的LLM大模子让程序员们开始重新评估本身的本事。 “AI会代替那些行业？”“谁的饭碗又将不保了？”等标题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模子人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，如今网上的老课程老教材关于LLM又太少。以是如今小白入门就只能靠自学，学习本钱和门槛很高。
针对所有自学遇到困难的同学们，我帮大家体系梳理大模子学习脉络，将这份 LLM大模子资料 分享出来：包括LLM大模子书籍、640套大模子行业陈诉、LLM大模子学习视频、LLM大模子学习门路、开源大模子学习教程等,