【AI】当地部署可以与文件沟通的GPT：Llama 2 + GPT4All + Chroma ...

【配景】

照旧继承致力于实践可以掩护数据隐私的当地化LLM部署。
这次用的是Llama 2 + GPT4All + Chroma实现RAG。
【概念】

基于LangChain模板的各个部分的作用：

• Llama2-》语言模型管理
  
• GPT4ALL-》embedding
  
• Chroma-》文件内容的向量存储，作为内部知识库，不需要网络就可以存储。
  

【环境构建】

• 安装Ollama
  在Linux或Windows的WSL下，使用下令：
  

1. curl https://ollama.ai/install.sh | sh

复制代码

• 使用Ollama下载一款LLM模型
  比如，下载一个llama2 7b chat模型：
  

1. ollama pull llama2:7b-chat

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。