ToB企服应用市场:ToB评测及商务社交产业平台

标题: Docker一键快速私有化部署(Ollama+Openwebui) +AI大模型（gemma，llama2，q [打印本页]

作者: 伤心客 时间: 2024-6-19 13:36
标题: Docker一键快速私有化部署(Ollama+Openwebui) +AI大模型（gemma，llama2，q
几行命令教你私有化部署本身的AI大模型，每个人都可以有本身的GTP

第一步：安装Docker(如果已经有了可以直接跳第二步)

####下载安装Docker
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
##更新yum软件包索引
yum makecache fast
## 安装docker ce cli
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.0.6-1.el7
##"启动Docker并验证"
systemctl enable docker && systemctl start docker
docker version

复制代码

第二步：使用Docker部署Ollama
                 (ollama run gemma)安装谷歌gemma大模型
                 (ollama run llama2)安装Meta llama2大模型
                 (ollama run qwen)安装阿里的qwen大模型

###docker下载ollama部署
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama
###开始下载gemma大模型
docker exec -it ollama ollama run gemma “你好”

复制代码

第三步：使用Docker部署webUI页面
将${inner_ip}更换成你本机IP（用hostname -I可检察）

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://${inner_ip}:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

复制代码

第四步，正在启动WEBUI界面，大约5分钟后，

部署完毕，请访问：http://IP:3000

复制代码

正常就可以打开访问属于你本身的大模型了。
可以通过下面的命令检察日志

docker logs -f open-webui

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)