Windows本地部署Ollama+qwen本地大语言模子Web交互界面并实现公网访问
前言本文主要先容如安在Windows系统快速部署Ollama开源大语言模子运行工具，并安装Open WebUI连合cpolar内网穿透软件，实如今公网环境也能访问你在本地内网搭建的大语言模子运行环境。
近些年来随着ChatGPT的兴起，大语言模子 LLM（Large Language Model）也成为了人工智能AI领域的热门话题，许多大厂也都推出了自己的大语言模子，并或多或少的开源了自己的大语言模子，本日就来分享一个最近很火，且对于小白来说比力好上手本地部署的运行本地LLM的工具Ollama。
在本地运行大语言模子有诸多长处：
好比可以保护隐私、不会产生费用、可以无视网络问题、可以尝鲜各种开源模子等等。
Ollama支持当前主要的开源大模子， 好比llama2、千文qwen、mistral等，可以在Windows、Linux、MacOS系统上进行部署。稳定性和便利性都非常不错，下面就来分享一下它在Windows系统上的安装与应用。
https://img-blog.csdnimg.cn/img_convert/948765d69b96870e82c612d32f503656.png
1. 运行Ollama
本文安装环境为：Windows10专业版
下载： Ollama下载地点：https://ollama.com/download
在下载页面点击Windows，然后点击下载按钮。
https://img-blog.csdnimg.cn/img_convert/11aba5b6cd844adb5f863b1955e6e095.png
安装： 下载完成后，双击下载的安装程序。
https://img-blog.csdnimg.cn/img_convert/bc5927ff16ecc1786db1e30e2a0e8843.png
点击Install进行安装。
https://img-blog.csdnimg.cn/img_convert/6b0fa19d9059038a7cd7ffc3cdf92bf7.png
安装完成没有提示，我们打开一个终端，本文以Windows PowerShell为例，大家也可以使用其他的：
如今Ollama已经安装完了，我们需要在终端中输入下方下令运行一个大语言模子进行测试，这里以对在中文方面体现相对好些的千问为例，大家也可以使用其他的模子。
ollama run qwen
https://img-blog.csdnimg.cn/img_convert/47bd8cd49a58795ce60a0f794a8e5c0c.png
可以看到，系统正在下载qwen的模子（并生存在C盘，C:\Users<username>.ollama\models 如果想更改默认路径，可以通过设置OLLAMA_MODELS进行修改，然后重启终端，重启ollama服务。）
setx OLLAMA_MODELS "D:\ollama_model"
https://img-blog.csdnimg.cn/img_convert/f1e3a84e513ed4b3ab2815fc2522a163.png
模子下载完成后，我们就可以在终端中输入问题进行使用了：
https://img-blog.csdnimg.cn/img_convert/e5af22cef1fb613767537e7f7763cb36.png
至此，在Windows本地部署ollama并运行qwen大语言模子就已经完成了。一键搞定，对新手体验大语言模子真的非常友爱。
2. 安装Open WebUI
不过，我们如今只能在终端中使用，利用界面可能不像ChatGPT那样雅观，如果能使用web页面进行交互，使用体验更好，也能保留之前的谈天记录，翻遍我们翻阅查询。
针对这个环境，我们可以在Windows上部署Open WebUI这个项目来实现类似chatgpt一样的交互界面。
本教程以Open WebUI这个项目为例，它以前的名字就叫 Formerly Ollama WebUI。可以明白为一开始就是专门适配Ollama的WebUI，它的界面也对用惯了chatgpt的小同伴来说更相似一些。固然，大家也可以选择其他的WebUI，之后有机会也可以分享给大家。
如安在Windows系统安装Open WebUI：
2.1 在Windows系统安装Docker
首先，如果大家之前未安装过Docker，需要执行下面三个步骤进行安装：
第一步：启动Hyper-v
打开控制面板，在程序与功能页面选择启用或Windows功能
https://img-blog.csdnimg.cn/img_convert/90c921e076f4ae71b03ce0196789a804.png
勾选Hyper-V、虚拟机平台、Linux子系统并点击确认
https://img-blog.csdnimg.cn/img_convert/a9b8e970ca6eb2c52c5b1ff4fe0019dd.png
然后，重启盘算机。
第二步：安装WSL
打开 powershell，以管理员的身份启动下令窗口，输入
wsl --update
安装
wsl --install
https://img-blog.csdnimg.cn/img_convert/eaa595521993dbbd474623fb5364ea3c.png 然后再次重启电脑。
第三步：访问Docker官网进行下载
点击下载链接：https://docs.docker.com/desktop/install/windows-install/
https://img-blog.csdnimg.cn/img_convert/153c534182c06585d698bf1ab274007b.png
选择Windows最新版本：
https://img-blog.csdnimg.cn/img_convert/1f7de0cb6ce1ffd94524b03b57ef5120.png
下载完成后，双击安装程序进行安装，如果是第一次安装，安装后会提示重启电脑，重启后点击桌面的Docker Desktop图标：选择先不注册直接登录即可。
https://img-blog.csdnimg.cn/img_convert/80ec7ccd8a22cc90dc94f29c0d80a105.png
打开Docker Desktop后，左下角显示是绿色的running就代表我们成功了：
https://img-blog.csdnimg.cn/img_convert/839d0f8de615a293d8a5e9ec8ce0c4f1.png
视频安装教程：
【Docker教程】如安在Windows系统安装Docker
2.2 使用Docker部署Open WebUI
在Open WebUI的github页面 https://github.com/open-webui/open-webui 可以看到，如果你的Ollama和Open WebUI在同一台主机，那使用下面显示的这一行下令就可以在本地快速进行部署：
https://img-blog.csdnimg.cn/img_convert/4a5858874ae0a4f004647cc38c0d2237.png
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如今我们打开终端，好比powershell，然后输入docker，回车
https://img-blog.csdnimg.cn/img_convert/cfb23bf9b1c8a55d8ed029cc5d7fec60.png
可以看到这个下令成功运行，说明docker安装成功。
然后将上边在docker中部署Open WebUI的下令复制后粘贴到终端中，回车。
https://img-blog.csdnimg.cn/img_convert/a4e68de1b9f56fd72f3e63e3f77ab007.png
然后等待安装完毕即可：如下图所示
https://img-blog.csdnimg.cn/img_convert/7696d971bf78c802302ff1ecacdfd9bf.png
安装完成后，在Docker Desktop中可以看到Open WebUI的web界面地点为：https://localhost:3000
https://img-blog.csdnimg.cn/img_convert/ce4a294169ce369c3cb765a229f4e9b7.png
点击后，会在浏览器打开登录界面：
https://img-blog.csdnimg.cn/img_convert/20d030742e2ff2dbf5467abcd2df209f.png
点击sign up注册，账号，邮箱，密码记好，下次登录时需要用到邮箱和密码登录：
https://img-blog.csdnimg.cn/img_convert/002471ef01219bac0008acd294410e76.png
然后点击create account创建账号即可：然后就能在浏览器中使用类似chatgpt界面的Open WebUI了！
https://img-blog.csdnimg.cn/img_convert/039ae092840339d4afae8f3d9e268980.png
点击右上角的设置，可以修改当前界面的语言为简体中文：然后点击生存即可。
https://img-blog.csdnimg.cn/img_convert/9f51b388287772af93b6f2530bb8cce0.png
https://img-blog.csdnimg.cn/img_convert/01fee3c571f2bb174d49ff7cab6c3c25.png
点击上方选择一个模子旁边的加号+可以增长大模子，点击下拉按钮可以选择当前使用哪一个已安装的模子，接下来就可以愉快的跟ai谈天了！
https://img-blog.csdnimg.cn/img_convert/9010b686852350b0d1646d41d8eb783d.png
3. 安装内网穿透工具
至此，我们已经成功完成在本地Windows系统使用Docker部署Open WebUI与Ollama大模子工具进行交互了！但如果想实现出门在外，也能随时随地使用Ollama Open WebUI，那就需要借助cpolar内网穿透工具来实现公网访问了！接下来先容一下如何安装cpolar内网穿透并实现公网访问！
下面是安装cpolar步骤：
cpolar官网地点: https://www.cpolar.com
点击进入cpolar官网，点击免费使用注册一个账号，并下载最新版本的cpolar
https://img-blog.csdnimg.cn/img_convert/17a04e0dce18f1aff0689d96602a39fd.png
登录成功后，点击下载cpolar到本地并安装（一起默认安装即可）本教程选择下载Windows版本。
https://img-blog.csdnimg.cn/img_convert/ff7b907fa6505688a8d9c7f93e10e782.png
cpolar安装成功后，在浏览器上访问http://localhost:9200，使用cpolar账号登录,登录后即可看到cpolar web 设置界面,结下来在web 管理界面设置即可。
https://img-blog.csdnimg.cn/img_convert/31ac5f7ed58398dc04d996e2cccd1afd.png
接下来设置一下 Open WebUI 的公网地点，
登录后，点击左侧仪表盘的隧道管理——创建隧道，
创建一个 ollama1 的公网http地点隧道：
[*]隧道名称：ollama1（可自定义命名，留意不要与已有的隧道名称重复）
[*]协议：选择http
[*]本地地点：3000 (本地访问的地点)
[*]域名类型：免费选择随机域名
[*]地区：选择China Top
https://img-blog.csdnimg.cn/img_convert/2143761c20524443a2a24f3b066ac013.png
隧道创建成功后，点击左侧的状态——在线隧道列表,查看所天生的公网访问地点，有两种访问方式,一种是http 和https：
https://img-blog.csdnimg.cn/img_convert/3683655a27dd7e08aa7df3ae21ae7693.png
使用上面的任意一个公网地点,在手机或任意设备的浏览器进行登录访问,即可成功看到 Open WebUI 界面,这样一个公网地点且可以长途访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到公网访问 Open WebUI 了！
https://img-blog.csdnimg.cn/img_convert/bf97cb31352eeb669da2fbb50f0f5f5f.png
小结
如果我们需要长期异地长途访问Open WebUI，由于刚才创建的是随机的地点，24小时会发生变化。另外它的网址是由随机字符天生，不容易记忆。如果想把域名酿成固定的二级子域名，并且不想每次都重新创建隧道来访问Open WebUI，我们可以选择创建一个固定的公网地点来解决这个问题。
4. 创建固定公网地点
我们接下来为其设置固定的HTTP端口地点，该地点不会变化，方便分享给别人长期查看你部署的项目，而无需每天重复修改服务器地点。
设置固定http端口地点需要将cpolar升级到专业版套餐或以上。
登录cpolar官网，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留,保留成功后复制保留的二级子域名名称
https://img-blog.csdnimg.cn/img_convert/c1f4c50c64d360d1d97a0897364d0c58.png
保留成功后复制保留成功的二级子域名的名称：myollama，大家也可以设置自己喜欢的名称。
https://img-blog.csdnimg.cn/img_convert/762687e6b0c202350d4ae3ed27ada2e4.png
返回登录Cpolar web UI管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要设置的隧道：ollama1，点击右侧的编辑：
https://img-blog.csdnimg.cn/img_convert/e7d0432ec312043e84b87eb261d821cb.png
修改隧道信息，将保留成功的二级子域名设置到隧道中
[*]域名类型：选择二级子域名
[*]Sub Domain：填写保留成功的二级子域名：myollama
点击更新(留意,点击一次更新即可,不需要重复提交)
https://img-blog.csdnimg.cn/img_convert/d4b580d9bd887cdcd8b5c5dad0bca913.png
更新完成后,打开在线隧道列表,此时可以看到公网地点已经发生变化,地点名称也酿成了固定的二级子域名名称的域名：
https://img-blog.csdnimg.cn/img_convert/d84e3d6e3325fac65d487e2a59dfc6af.png
最后,我们使用固定的公网https地点访问,可以看到访问成功,这样一个固定且永久稳定的公网地点就设置好了，可以随时随地在公网环境异地访问本地部署的 Open WebUI 了！
https://img-blog.csdnimg.cn/img_convert/d5c96574a866fc75fd258cdad7090471.png
以上就是如安在Windows系统本地安装Ollama大模子工具并使用docker部署Open WebUI，连合cpolar内网穿透工具实现公网访问本地LLM，并设置固定稳定的二级子域名公网地点实现长途访问的全部流程，感谢您的观看，有任何问题欢迎留言交流。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]