ollama Linux部署

打印 上一主题 下一主题

主题 928|帖子 928|积分 2784

ollama Linux部署

前言

为了部署当地大模子并创建专属知识库,可以使用ollama快速部署当地大模子服务。
原文博客地点:ollama Linux部署 | 路程blog (cxy.red)
1. 下载ollama

官方下载地点:curl -fsSL https://ollama.com/install.sh | sh​
2. 情况配置

安装完成后,默认的网络配置将Ollama设置为仅在当地网络情况中运行,这意味着只有安装Ollama的主性能够访问该服务。如果盼望从外部网络访问Ollama服务,必要进行相应的网络配置调整。
修改ollama配置使其可以监听0.0.0.0和修改端口,可以实现非当地访问
2.1 修改文件

使用下令:vi /etc/systemd/system/ollama.service​,添加:Environment="OLLAMA_HOST=0.0.0.0:11434"​,然后按下Esc,键入:wq​生存更改

2.2 重现加载

  1. sudo systemctl daemon-reload
复制代码
  1. sudo systemctl restart ollama
复制代码
3. 测试

3.1 网路配置检测

终端输入ip addr​查看

然后打开浏览器测试输入:ip地点:11434

出现ollama is running,表示配置成功
3.2 模子测试


参考文献


  • ollama/docs/linux.md at main · ollama/ollama · GitHub


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

梦见你的名字

金牌会员
这个人很懒什么都没写!
快速回复 返回顶部 返回列表