一文教你在windows上实现ollama+open webui、外网访问当地模型、ollama利用 ...

前言：

ollama工具的出现让大语言模型的部署变得格外的轻松，但是在windows系统部署之后发现无法利用GPU举行加速，通过多方面查找资料发现可以在docker中利用命令启用GPU加速。另外通过Docker也可以快速部署open webui,于是本文基于docker实现ollama模型的部署，以及webui部署。
终极部署成功后可以实现公网访问当地大语言模型功能。
目次：

安装docker
在docker中安装ollama
在docker中安装webui
内网穿透实现公网访问当地大语言模型
环境：

系统：windows10
CPU：i5-9400
GPU：GTX1050ti
内容

安装docker

第一步：启动Hyper-v

如果之前没有安装过docker，需要先辈行设置一下。
依次打开 控制面板>程序>程序和功能>启用或关闭windows功能

勾选Hyper-V、假造机平台、Linux子系统并点击确认

确认后重启盘算机
第二步：安装WSL

打开 powershell，以管理员的身份启动命令窗口

输入

1. wsl --update

复制代码

安装

1. wsl --install

复制代码

安装成功后重启电脑

第三步：访问Docker官网举行下载

点击下载链接：https://docs.docker.com/desktop/install/windows-install/

下载完成后，双击安装程序举行安装，如果是第一次安装，安装后会提示重启电脑，重启后点击桌面的Docker Desktop图标：选择先不注册直接登录即可。

打开Docker Desktop后，左下角显示是绿色的running就代表我们成功了：

在docker中利用GPU运行ollama

第一步：安装英伟达容器安装包

打开之前安装的ubuntu

依次将一下命令输入ubuntu

配置apt源

1. curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
2.   && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
3.     sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
4.     sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

复制代码

更新源

1. sudo apt-get update

复制代码

安装工具包

1. sudo apt-get install -y nvidia-container-toolkit

复制代码

第二步：利用GPU运行ollama

1. docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

复制代码

第三步：利用ollama下载模型

1. docker exec -it ollama ollama run qwen:7b

复制代码

如果想要下载其他的模型，点击毗连：library，选择并于同的模型

选择差异的模型复制下载命令

1. docker exec -it ollama  ollama run llama3

复制代码

在docker中安装webui



github开源地址：
https://github.com/open-webui/open-webui

直接复制命令在windows powershell中运行

1. docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

复制代码

等候安装完毕

安装完毕后打开docker，点击地址

点击注册管理员账号

创建账户后登录

内网穿透实现公网访问当地大语言模型

第一步：下载cpolar
cpolar官网地址: https://www.cpolar.com
点击免费注册，注册一个账号

注册登录后下载cpolar

安装成功后在欣赏器访问http://localhost:9200 ，利用已经注册好的账号登录

点击创建隧道，并配置

创建一个 ollama1 的公网http地址隧道：

• 隧道名称：ollama（可自定义定名，留意不要与已有的隧道名称重复）
  
• 协议：选择http
  
• 当地地址：3000 (当地访问的地址)
  
• 域名类型：免费选择随机域名
  
• 地区：选择China Top
  

创建好后可以选择在线隧道列表，复制公网网址即可实现公网访问当地模型

本文参考

Windows当地部署Ollama+qwen当地大语言模型Web交互界面并实现公网访问-腾讯云开发者社区-腾讯云https://github.com/1Panel-dev/MaxKB/wiki/%E5%A6%82%E4%BD%95%E8%AE%A9Ollama%E4%BD%BF%E7%94%A8GPU%E8%BF%90%E8%A1%8CLLM%E6%A8%A1%E5%9E%8B
Windows安装利用Docker，方便你的开发和部署(DockerDesktop篇)_windows安装docker-CSDN博客

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。