设置Ollama在局域网中访问的方法(Ubuntu)

打印 上一主题 下一主题

主题 648|帖子 648|积分 1944

趁着Llama3的热度试了一下Ollama,果然部署推理大模子很有用。一个现实的需求是,如果我们要在局域网中访问Ollama上大模子的服务,应该怎么办呢?参考了一下其他博客的方法
例如:一分钱不花!手把手教你部署Google最强开源AI大模子Gemma教程_windows "ollama_host=0.0.0.0:11434" ollama serve-CSDN博客
也不是很麻烦:
首先打开Ollama的设置文件
  1. sudo gedit /etc/systemd/system/ollama.service
复制代码
在[Service]下面加上:
  1. Environment="OLLAMA_HOST=0.0.0.0:11434"
复制代码
其次设置防火墙,打开端口。Ollama的默认端口是11434,以是直接输入:
  1. sudo ufw allow 11434/tcp
复制代码
再重启之后,就可以通过http在局域网中访问了:
http://192.168.1.XX:11434
可以看到:
  1. Ollama is running
复制代码
就可以通过局域网或者另一台机子上的LangChain调用了。就简单记载这么多。

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

钜形不锈钢水箱

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表