IT评测·应用市场-qidao123.com

标题: 服务器Ubuntu22.04系统下 ollama的具体部署安装和搭配open_webui使用 [打印本页]

---

作者: 傲渊山岳    时间: 2024-12-28 17:18
标题: 服务器Ubuntu22.04系统下 ollama的具体部署安装和搭配open_webui使用
服务器Ubuntu22.04系统下 ollama的具体部署安装和搭配open_webui使用

• 一、ubuntu和docker根本情况设置
  
• 
  
  
  
  • 
    
    
    
    • 
      
      
      
      • 
        
        
        
        • 1.更新包列表：
          
        • 2. 安装docker依赖
          
        • 3. 添加docker密钥
          
        • 4.添加阿里云docker软件源
          
        • 5.安装docker
          
        • 6.安装完成docker测试
          
        • 7. docker设置国内镜像源
          
        
        
      
      
    
    
  
  
• 二、安装英伟达显卡驱动
  
• 
  
  
  
  • 1.使用 Apt 安装
    
  
  
• 三、使用docker安装ollama
  
• 
  
  
  
  • 
    
    
    
    • 
      
      
      
      • 
        
        
        
        • 1. 使用docker拉取ollama镜像
          
        • 2.使用docker运行以下下令来启动 Ollama 容器
          
        • 3.使用ollama下载模子
          
        
        
      
      
    
    
  
  
• 四、使用docker安装open-webui
  
• 
  
  
  
  • 
    
    
    
    • 
      
      
      
      • 
        
        
        
        • 1. docker部署ollama web ui
          
        • 2.注册账号
          
        • 3.成功进入：
          
        • 4. 谈天界面
          
        
        
      
      
    
    
  
  

一、ubuntu和docker根本情况设置

1.更新包列表：

• 打开终端，输入以下下令：
  sudo apt-get update
  sudo apt upgrade
  

更新时间较长，请耐心等待
2. 安装docker依赖

1. sudo apt-get install ca-certificates curl gnupg lsb-release

复制代码

3. 添加docker密钥

1. curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

复制代码

4.添加阿里云docker软件源

1. sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

复制代码

5.安装docker

1. apt-get install docker-ce docker-ce-cli containerd.i

复制代码

6.安装完成docker测试

1. docker -v

复制代码

7. docker设置国内镜像源

• 7.1 编辑设置文件
  vi /etc/docker/daemon.json
  

按i进入编辑模式
加入以下内容：

1. {
2.   "registry-mirrors": [
3.     "https://docker.mirrors.ustc.edu.cn",
4.     "https://hub-mirror.c.163.com",
5.     "https://docker.m.daocloud.io",
6.     "https://ghcr.io",
7.     "https://mirror.baidubce.com",
8.     "https://docker.nju.edu.cn"
9.   ]
10. }

复制代码

按ESC键退出编辑模式，接着输入:wq，生存并退出

• 7.2 重新加载docker
  sudo systemctl daemon-reload
  
• 7.3 重启docker
  sudo systemctl restart docker
  

二、安装英伟达显卡驱动

1.使用 Apt 安装

• 设置存储库
  curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey
  | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
  curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list
  | sed ‘s#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g’
  | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
  
• 更新包列表
  sudo apt-get update
  
• 安装 NVIDIA Container Toolkit 软件包
  sudo apt-get install -y nvidia-container-toolkit
  
• 设置 Docker 以使用 Nvidia 驱动步伐
  sudo nvidia-ctk runtime configure --runtime=docker
  
• 重新启动docker
  sudo systemctl restart docker
  

三、使用docker安装ollama

1. 使用docker拉取ollama镜像

1. docker pull ollama/ollama:latest

复制代码

国内镜像

1. docker pull dhub.kubesre.xyz/ollama/ollama:latest

复制代码

2.使用docker运行以下下令来启动 Ollama 容器

1. docker run -d --gpus=all --restart=always -v /root/project/docker/ollama:/root/project/.ollama -p 11434:11434 --name ollama ollama/ollama

复制代码

使ollama保持模子加载在内存（显存）中

• 参考文章
  ollama如何保持模子加载在内存（显存）中或立即卸载
  
• 实行以下下令：
  docker run -d --gpus=all -e OLLAMA_KEEP_ALIVE=-1 -v /root/project/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
  

3.使用ollama下载模子

• 这里示例下载阿里的通义千问
  docker exec -it ollama ollama run qwen2
  
• 运行效果如图：
  
  
  
  
• 模子库
  

模子
参数数目
大小
下载方式
Llama 2
7B
3.8GB
docker exec -it ollama ollama run llama2
Mistral
7B
4.1GB
docker exec -it ollama ollama run mistral
Dolphin Phi
2.7B
1.6GB
docker exec -it ollama ollama run dolphin-phi
Phi-2
2.7B
1.7GB
docker exec -it ollama ollama run phi
Neural Chat
7B
4.1GB
docker exec -it ollama ollama run neural-chat
Starling
7B
4.1GB
docker exec -it ollama ollama run starling-lm
Code Llama
7B
3.8GB
docker exec -it ollama ollama run codellama
Llama 2 Uncensored
7B
3.8GB
docker exec -it ollama ollama run llama2-uncensored
Llama 2
13B
7.3GB
docker exec -it ollama ollama run llama2:13b
Llama 2
70B
39GB
docker exec -it ollama ollama run llama2:70b
Orca Mini
3B
1.9GB
docker exec -it ollama ollama run orca-mini
Vicuna
7B
3.8GB
docker exec -it ollama ollama run vicuna
LLaVA
7B
4.5GB
docker exec -it ollama ollama run llava
Gemma
2B
1.4GB
docker exec -it ollama ollama run gemma:2b
Gemma
7B
4.8GB
docker exec -it ollama ollama run gemma:7b
四、使用docker安装open-webui

1. docker部署ollama web ui

查看自己服务器的业务端口，我们这里是30131-30140

main版本

1. docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

复制代码

cuda版本

1. docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:cuda

复制代码

• 安装成功后，可以在另一台计算机进行访问，如下：
  
  
  
  

2.注册账号

• 默认第一个账号是管理员
  
  
  
  

3.成功进入：

4. 谈天界面

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)

Powered by Discuz! X3.4