Docker中轻松部署Ollama和Open-WebUI，实现私有化大语言模子 ...

言简意赅的讲授Ollama和Open-WebUI解决的痛点

Ollama解决了大语言模子运行情况和API调用的问题，Open-WebUI了局了与模子沟通的可视化问题等等。而在当今技能快速发展的时代，大型语言模子（LLM）不但被广泛应用于各行各业的开发者工具中，也成为了提升业务效率、创造更好用户体验的关键。然而，许多开发者都盼望能够在当地部署并体验这些强盛的模子，以满意API调用和私有知识库的需求。今天，我将先容如何通过Docker轻松部署Ollama和Open-WebUI，满意您对当地大语言模子的需求。
经过之前讲授Docker之后，有童鞋好奇那Docker能不能跑一个语言模子玩玩呢，答案是可以的，而且很方便。
又有童鞋好奇NGINX能不能对今天展示的内容做Sub Path的转发呢?一方面呢其实官方还没有支持这么做，硬说能不能把流量都进行拦截并添加上Sub Path？倒也是可以，但其实如果项目方对路由有校验的话，就会前功尽弃。在这个项目中多半是不允许添加Sub Path的。另一方面呢Open-WebUI用了大量的ws，转发起来难度也是很大。
为什么选择Docker部署？

Docker提供了一种方便、高效且一致的情况，使得跨平台部署和管理变得更加简单。通过使用docker-compose，我们可以快速设置Ollama和Open-WebUI，从而让开发者专注于实现业务功能，而无需在情况设置上耗费过多的时间。
部署步骤：一键启动Ollama和Open-WebUI

下面是一个简单的docker-compose.yml文件，它帮助我们通过Docker容器部署Ollama和Open-WebUI。只需简单几步，您就可以启动当地的大语言模子，并通过Web界面进行管理。

1. version: '3.8'
3. services:
4.   ollama:
5.     image: ollama/ollama
6.     container_name: ollama
7.     ports:
8.       - "11434:11434"
9.     volumes:
10.       - ./ollama:/root/.ollama
11.     restart: unless-stopped
13.   open-webui:
14.     image: ghcr.io/open-webui/open-webui:main
15.     container_name: open-webui
16.     environment:
17.       ROOT_PATH: "ollama"
18.       OLLAMA_BASE_URL: "http://ollama:11434"
19.     ports:
20.       - "3020:8080"
21.     volumes:
22.       - ./open-webui:/app/backend/data
23.     restart: always
24.     depends_on:
25.       - ollama

复制代码

设置解析

• Ollama 服务：
  
  
  
  • 使用Ollama官方镜像 ollama/ollama，并通过端口 11434 进行API服务暴露。
    
  • 数据和设置文件生存在当地文件夹 ./ollama，确保数据的持久化和灵活设置。
    
  • 通过 restart: unless-stopped 使服务在容器瓦解时自动重启，包管高可用性。
    
  
  
• Open-WebUI 服务：
  
  
  
  • 使用 ghcr.io/open-webui/open-webui:main 镜像，部署Web界面，默认监听端口 3020。
    
  • 通过情况变量设置，确保Open-WebUI能够访问Ollama容器，并通过API进行数据交互。
    
  • depends_on 确保Open-WebUI在Ollama启动后才能运行，避免依靠问题。
    
  
  

保举使用千问模子：更佳的中文体验

对于中文用户来说，千问模子（Qwen）无疑是一个理想的选择。实践表明，千问模子在处理中文文本时的效果远超其他模子，特别是在自然语言理解和生成方面。通过Ollama的部署，您可以轻松加载千问模子，并进行API调用，极大提升了中文语境下的模子效果。我自己用的是qwen2.5:7b，因为更大的模子我跑不起来。。如果你得设置还不如我呢，那你记得用更小的模子。

当地部署的优势

• API调用需求：
  Ollama提供了稳固的API接口，您可以通过当地部署的方式，直接向模子发送哀求，获取自然语言处理的效果。无论是文本生成、情感分析，还是其他任务，都可以满意API需求。
  
• 私有知识库：
  当地部署的Ollama模子不但能够处理通用任务，还能够联合私有数据进行自定义练习和微调。这样一来，您就可以构建属于自己的私有知识库，增强盛语言模子在特定领域的表现。
  
• 体验专属的大模子：
  对于开发者而言，能够在当地运行一个定制化的大语言模子，无疑是一种极具价值的体验。通过与模子交互，您可以更好地了解其工作原理并优化应用，提升开发效率。
  

总结

通过简单的Docker部署，您不但能够快速搭建Ollama和Open-WebUI，还能够体验到私有化部署大语言模子的强盛功能。对于中文用户，千问模子提供了更好的当地化体验，而当地部署更是包管了数据隐私和模子性能。无论是API调用，还是私有知识库的建设，当地化的解决方案都将大大提升您的开发体验。
立即尝试并在当地部署，解锁更多关于大语言模子的潜力，打造属于您自己的智能应用！

---

通过上述内容，你就已经根本理解了这个方法，基础用法我也都有展示。如果你能领悟贯通，我相信你会很强
Best
Wenhao (楠博万)

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。