服务器Ubuntu22.04系统下 ollama的具体部署安装和搭配open_webui使用
服务器Ubuntu22.04系统下 ollama的具体部署安装和搭配open_webui使用[*]一、ubuntu和docker根本情况设置
[*]
[*]
[*]
[*]
[*]1.更新包列表：
[*]2. 安装docker依赖
[*]3. 添加docker密钥
[*]4.添加阿里云docker软件源
[*]5.安装docker
[*]6.安装完成docker测试
[*]7. docker设置国内镜像源
[*]二、安装英伟达显卡驱动
[*]
[*]1.使用 Apt 安装
[*]三、使用docker安装ollama
[*]
[*]
[*]
[*]
[*]1. 使用docker拉取ollama镜像
[*]2.使用docker运行以下下令来启动 Ollama 容器
[*]3.使用ollama下载模子
[*]四、使用docker安装open-webui
[*]
[*]
[*]
[*]
[*]1. docker部署ollama web ui
[*]2.注册账号
[*]3.成功进入：
[*]4. 谈天界面
一、ubuntu和docker根本情况设置
1.更新包列表：
[*] 打开终端，输入以下下令：
sudo apt-get update
sudo apt upgrade
更新时间较长，请耐心等待
2. 安装docker依赖
sudo apt-get install ca-certificates curl gnupg lsb-release
3. 添加docker密钥
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
4.添加阿里云docker软件源
sudo add-apt-repository "deb http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
5.安装docker
apt-get install docker-ce docker-ce-cli containerd.i
6.安装完成docker测试
docker -v
https://i-blog.csdnimg.cn/direct/51f690ceeaee4f2c86ed1cf123f9f394.png
7. docker设置国内镜像源
[*] 7.1 编辑设置文件
vi /etc/docker/daemon.json
按i进入编辑模式
加入以下内容：
{
"registry-mirrors": [
"https://docker.mirrors.ustc.edu.cn",
"https://hub-mirror.c.163.com",
"https://docker.m.daocloud.io",
"https://ghcr.io",
"https://mirror.baidubce.com",
"https://docker.nju.edu.cn"
]
}
按ESC键退出编辑模式，接着输入:wq，生存并退出
[*] 7.2 重新加载docker
sudo systemctl daemon-reload
[*] 7.3 重启docker
sudo systemctl restart docker
二、安装英伟达显卡驱动
1.使用 Apt 安装
[*] 设置存储库
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list
| sed ‘s#deb https://#deb https://#g’
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
[*] 更新包列表
sudo apt-get update
[*] 安装 NVIDIA Container Toolkit 软件包
sudo apt-get install -y nvidia-container-toolkit
[*] 设置 Docker 以使用 Nvidia 驱动步伐
sudo nvidia-ctk runtime configure --runtime=docker
[*] 重新启动docker
sudo systemctl restart docker
三、使用docker安装ollama
1. 使用docker拉取ollama镜像
docker pull ollama/ollama:latest
国内镜像
docker pull dhub.kubesre.xyz/ollama/ollama:latest
2.使用docker运行以下下令来启动 Ollama 容器
docker run -d --gpus=all --restart=always -v /root/project/docker/ollama:/root/project/.ollama -p 11434:11434 --name ollama ollama/ollama
使ollama保持模子加载在内存（显存）中
[*] 参考文章
ollama如何保持模子加载在内存（显存）中或立即卸载
[*] 实行以下下令：
docker run -d --gpus=all -e OLLAMA_KEEP_ALIVE=-1 -v /root/project/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
3.使用ollama下载模子
[*] 这里示例下载阿里的通义千问
docker exec -it ollama ollama run qwen2
[*] 运行效果如图：
https://i-blog.csdnimg.cn/direct/cc6335fa729f427282cfb9999b3e3c3f.png
[*] 模子库
模子
参数数目
大小
下载方式
Llama 2
7B
3.8GB
docker exec -it ollama ollama run llama2
Mistral
7B
4.1GB
docker exec -it ollama ollama run mistral
Dolphin Phi
2.7B
1.6GB
docker exec -it ollama ollama run dolphin-phi
Phi-2
2.7B
1.7GB
docker exec -it ollama ollama run phi
Neural Chat
7B
4.1GB
docker exec -it ollama ollama run neural-chat
Starling
7B
4.1GB
docker exec -it ollama ollama run starling-lm
Code Llama
7B
3.8GB
docker exec -it ollama ollama run codellama
Llama 2 Uncensored
7B
3.8GB
docker exec -it ollama ollama run llama2-uncensored
Llama 2
13B
7.3GB
docker exec -it ollama ollama run llama2:13b
Llama 2
70B
39GB
docker exec -it ollama ollama run llama2:70b
Orca Mini
3B
1.9GB
docker exec -it ollama ollama run orca-mini
Vicuna
7B
3.8GB
docker exec -it ollama ollama run vicuna
LLaVA
7B
4.5GB
docker exec -it ollama ollama run llava
Gemma
2B
1.4GB
docker exec -it ollama ollama run gemma:2b
Gemma
7B
4.8GB
docker exec -it ollama ollama run gemma:7b
四、使用docker安装open-webui
1. docker部署ollama web ui
查看自己服务器的业务端口，我们这里是30131-30140
https://i-blog.csdnimg.cn/direct/68ba5f59e94a4083bfcaef60fe0003c3.png
main版本
docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
cuda版本
docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:cuda
[*]安装成功后，可以在另一台计算机进行访问，如下：
https://i-blog.csdnimg.cn/direct/b51233cf8c9b472ab89b8c6c57961aca.png
2.注册账号
[*]默认第一个账号是管理员
https://i-blog.csdnimg.cn/direct/add07b97be2a4e819540b60d02be7434.png
3.成功进入：
https://i-blog.csdnimg.cn/direct/b750af790d644ddbb1711f7f6d0be584.png
4. 谈天界面
https://i-blog.csdnimg.cn/direct/214194381d224507a1e1bc275ec023fa.png
https://i-blog.csdnimg.cn/direct/8df444dd298242039b5281b604415665.png
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]