群晖通过 Docker 摆设 Ollama + Open WebUI + DeepSeek 教程

打印 上一主题 下一主题

主题 1068|帖子 1068|积分 3204

随着 AI 技能的不断发展,本地摆设大语言模型的需求日益增长。本文将详细先容如安在群晖 NAS 上通过 Docker 摆设 Ollama + Open WebUI + DeepSeek,实现一个高效、安全的本地 AI 环境。以下是详细步调:
1. 环境准备


  • 硬件配置:本教程使用的是黑群晖+ G4600T + 16G 内存。
  • 系统版本:群晖 DSM 7.2。
  • 前置工具:确保已安装 Docker。
2. 拉取 Open WebUI 镜像
通过 SSH 连接到 NAS,切换到 root 用户:
  1. ​​​​​​​sudo -i
复制代码
拉取 Open WebUI 镜像:
  1. ​​​​​​​docker pull ghcr.io/open-webui/open-webui:ollama
复制代码
文件比较大,耐心等候。(我自己等了几个小时)
3. 创建数据文件夹
在 Docker 文件夹中创建 ollama 和 open-webui 文件夹,用于存储模型和配置数据:
  1. mkdir -p /volume1/docker/ollama
  2. mkdir -p /volume1/docker/open-webui
复制代码
4. 使用群晖 Docker 图形化界面摆设容器

  • 登录群晖 DSM,进入 Docker 管理界面。
  • 创建容器,选择拉取的 open-webuillama 镜像。
  • 配置容器:   

    • 端口映射:将容器的 8080 端口映射到 NAS 的一个本地端口(如 8887)。
    • 卷挂载:     

      • 将 /volume1/docker/ollama 映射到 /root/.ollama。
      • 将 /volume1/docker/open-webui 映射到 /app/backend/data。
      • ​​​​​​​

    • 环境变量:删除值为空的环境变量。
    • 启动设置:勾选 自动重新启动

  • 完成配置后,启动容器。
5. 验证 Ollama 安装
通过以下下令查看正在运行的容器:
  1. root@HXH:~# docker ps
  2. CONTAINER ID   IMAGE                                   COMMAND                  CREATED         STATUS                   PORTS                                         NAMES
  3. 7914c27a7494   ghcr.io/open-webui/open-webui:ollama    "bash start.sh"          5 minutes ago   Up 5 minutes (healthy)   0.0.0.0:8887->8080/tcp, :::8887->8080/tcp     ghcr-io-open-webui-open-webui-1
复制代码
进入 Ollama 容器:
  1. docker exec -it 7914c27a7494 /bin/bash
复制代码
在容器内运行以下下令,查看 Ollama 版本:
  1. ollama -v
复制代码
如果显示版本号(如 0.5.7),则表示安装成功。

6. 下载并运行 DeepSeek 模型
以 DeepSeek-R1 1.5B 模型为例,实行以下下令下载模型:
  1. ollama run deepseek-r1:1.5b
复制代码
下载完成后,运行以下下令查看已加载的模型:
  1. ollama list
复制代码
此时,你应该能看到已下载的 DeepSeek 模型。

7. 配置 Open WebUI

  • 打开欣赏器,访问 http://<NAS_IP>:8887。​​​​​​​

  • 注册管理员账号并登录。
  • 登录成功后,进入主页,页面左上角会显示当前使用的模型,并支持模型切换。
8. 性能优化与注意事项


  • 内存优化:如果内存不足,可以尝试使用量化版本的模型,如 deepseek-r1:1.5b-q4_0。
  • GPU 加快:如果 NAS 支持 GPU 加快,可以通过安装 NVIDIA 驱动并配置 CUDA 来提升性能。
  • 端口辩论:如果端口 8887 被占用,可以修改为其他未使用的端口。
9. 常见题目排查

  • Ollama 服务无法启动:   

    • 查看日志:journalctl -u ollama -f。
    • 查抄端口辩论并修改端口。

  • 模型加载失败:   

    • 重新初始化模型:ollama rm deepseek-r1 && ollama pull deepseek-r1。

总结
通过以上步调,你可以在群晖 NAS 上成功摆设 Ollama + Open WebUI + DeepSeek,实现本地化的 AI 模型运行环境。此方案不仅安全可靠,还能满足日常的 AI 应用需求。希望本文对你有所资助!
   
  版权声明:本文由yiSty原创,转载需注明原文链接。


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

笑看天下无敌手

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表