Ollama + (Anythingllm / Open WebUI / MaxKB)搭建本地大模型

个人体验MaxKB做知识库结果最好
一、Ollama

1、下载Ollama

地点：Download Ollama on macOS
curl -fsSL https://ollama.com/install.sh | sh
2、下载指定的模型

地点：library
   # Llama3
  ollama run llama3:8b
  # 这个模型可以将文本内容转换成向量数据
  ollama pull nomic-embed-text:v1.5
  

二、Open WebUI

1、拉取镜像

   # 拉取镜像
  docker pull ghcr.io/open-webui/open-webui:main
  2、（可选）利用代理拉取镜像

   # 如果拉不动的话加个代理
  docker pull ghcr.dockerproxy.com/open-webui/open-webui:main
  # 重命名镜像（如果是通过代理下载的） docker tag ghcr.dockerproxy.com/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main
  # 删除代理镜像（如果是通过代理下载的）
  docker rmi ghcr.dockerproxy.com/open-webui/open-webui:main
  3、运行容器

   docker run -p 18080:8080 -e OLLAMA_BASE_URL=http://10.16.2.70:11434 --name open-webui --restart always -v open-webui-data:/app/backend/data ghcr.io/open-webui/open-webui:main
  4、利用浏览器访问链接

http://192.168.2.250:18080/

三、Anythingllm

1、拉取镜像

1. docker pull mintplexlabs/anythingllm

复制代码

2、运行容器

1. export STORAGE_LOCATION=$HOME/anythingllm && \ mkdir -p $STORAGE_LOCATION && \ touch "$STORAGE_LOCATION/.env" && \ chmod -R 777 ${STORAGE_LOCATION} && \ docker run -d -p 3001:3001 \ --cap-add SYS_ADMIN \ -v ${STORAGE_LOCATION}:/app/server/storage \ -v ${STORAGE_LOCATION}/.env:/app/server/.env \ -e STORAGE_DIR="/root/anythingllm/storage" \ mintplexlabs/anythingllm

复制代码

3、利用浏览器访问链接

http://192.168.2.250:3001

四、MaxKB

1、拉取镜像

1. docker pull 1panel/maxkb

复制代码

2、运行容器

1. docker run -d --name=maxkb -p 28080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb

复制代码

3、利用浏览器访问链接

http://192.168.2.250:28080

---

附1：

更改模型存放位置
1. 进入配置默认目录：

1. cd /etc/systemd/system/

复制代码

2. 配置目录权限给【ollama用户及用户组】

1. chown -R ollama:ollama /home/ollama

复制代码

3.打开配置文件，在[Service]下添加OLLAMA_MODELS环境变量，

1. vi ollama.service

复制代码

  [Service]
  # 修改模型位置
  Environment="OLLAMA_MODELS=/home/ollama/models
  # 配置其它呆板可访问
  Environment="OLLAMA_HOST=0.0.0.0"
  4. 重启ollama

1. systemctl daemon-reload
2. systemctl restart ollama.service

复制代码

5、Open Web UI
密码：2kkVaZz91wQ2Rjck

附2：

参考链接1：利用AI解读本地TXT、WORD、PDF文档 - 哔哩哔哩
参考链接2：基于Ollama+AnythingLLM搭建本地私有知识库系统-CSDN博客
参考链接3：操作教程丨MaxKB+Ollama：快速构建基于大语言模型的本地知识库问答系统_应用_部署_Base

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。