在linux上摆设ollama+open-webu，且局域网访问教程
https://i-blog.csdnimg.cn/direct/bbda2b79147e46b2884c71f850112328.png本文重要先容如何在Windows系统快速摆设Ollama开源大语言模型运行工具，并使用Open WebUI
经使用，qwen2.5:32b模型效果很好，在24gb模型上速度很快
目录
Ollama支持当前重要的开源大模型， 比如llama2、千文qwen、mistral等，可以在Windows、Linux、MacOS系统上进行摆设。稳定性和便利性都非常不错，下面就来分享一下它在Linux系统上的安装与应用。
运行ollama
运行后直接自动安装
curl -fsSL https://ollama.com/install.sh | sh
https://i-blog.csdnimg.cn/direct/bdb7216446644786a078d3f9a0d92756.png
ollama运行
如今Ollama已经安装完了，我们需要在终端中输入下方命令运行一个大语言模型进行测试，这里以对在中文方面表现相对好些的千问为例，各人也可以使用其他的模型。
ollama serve
在另一个终端中，验证 Ollama 是否正在运行：
ollama -v
设置ollama的参数设置，/etc/systemd/system/ollama.service
sudo vim /etc/systemd/system/ollama.service
输入以下的参数：
Description=Ollama ServiceAfter=network-online.targetExecStart=/usr/local/bin/ollama serve
User=ollamaGroup=ollamaRestart=alwaysRestartSec=3Environment="PATH=/home/lvting/anaconda3/bin:/home/lvting/anaconda3/bin:/home/lvting/anaconda3/condabin:/home/lvting/.vscode-server/cli/servers/Stable-384ff7382de624fb94dbaf6da11977bba1ecd427/server/bin/remote-cli:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"Environment="OLLAMA_MODELS=/data/lt/1/.ollama/" # 设置模型下载的路径Environment="OLLAMA_HOST=0.0.0.0" #可访问Environment="OLLAMA_ORIGINS=*" WantedBy=default.target 然后启动服务：
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama
https://i-blog.csdnimg.cn/direct/278941db8d3c456ba2eb2983bff59cdd.png
这样说明就启动了
运行qwen2.5模型
ollama run qwen2.5:3b
https://i-blog.csdnimg.cn/direct/c4d8e731822544b5ad8f674395ef8e65.png
然后直接输入题目就可以回答了
https://i-blog.csdnimg.cn/direct/2e7504fddf2146ccb2d52b9c71f2dba0.png
open-webui
固然直接使用ollama的方法可以用，但是不太方便，使用webui的可视化更简洁明白
安装open-webui
首先在linux中安装open-webui：
使用默认设置安装：
刚才 Ollama 在您的计算机上，请使用以下命令：
使用这个命令：
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
因为我已经安装完成了，且open-webui服务已经启动，所以输入命令后会提示
https://i-blog.csdnimg.cn/direct/30aeb53ca1fe4c1ea319a5fbcaa36fff.png
sudo docker ps # 输入这个命令可以查看到正在运行的docker
https://i-blog.csdnimg.cn/direct/d07a83d24a4f4266ab3be5a2ffcc924b.png
以下为其他选项：
如果 Ollama 位于其他服务器上，请使用以下命令：
要连接到另一台服务器上的 Ollama，请将 更改为服务器的 URL：OLLAMA_BASE_URL：
这个此次不先容，下次实验使用
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
要运行支持 Nvidia GPU 的 Open WebUI，请使用以下命令：
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda
安装完成后，open-webui的网站为http://&{ip}:3000/
此处需要将网站的ip修改服务器内网的ip：
ifconfig # 查看服务器ip
然后打开网站如：
http://192.168.1.23:3000/
https://i-blog.csdnimg.cn/direct/2616c5c69b974c149676b779b3b698f8.png
这里可以选择模型
https://i-blog.csdnimg.cn/direct/b21cacf491c042f09a06ae4e8e03bd27.png
（待实现）下一期将参加内网穿透，实现外网访问功能
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]