火影 发表于 2025-3-11 17:09:39

创造将来知识管理新篇章:Ollama与AnythingLLM联手打造个人与企业的安全知

一 Ollama

1.1 简介

Ollama是一个开源的大型语言模子服务工具,它帮助用户快速在本地运行大模子。通过简单的安装指令,用户可以执行一条命令就在本地运行开源大型语言模子,如Llama 2。Ollama极大地简化了在Docker容器内部署和管理LLM的过程,使得用户能够快速地在本地运行大型语言模子。
关于 Ollama 的具体介绍和安装使用请参考如下文章:


[*]打造个性化谈天机器人:用Ollama和Open WebUI搭建你的私有ChatGPT!
[*]windows 下 docker compose 安装 ollama 和 open-webui ,打造私有GPT
1.2 打开ollama端口

Ollama实在有两种模式:

[*]谈天模式
[*]服务器模式
这里使用服务器模式,Ollama在后端运行大模子,开辟IP和端口给外部软件使用。
下载AnythingLLM之后开始进入启动的配置阶段,开始之前请确保 ollama serve 运行,或者终端执行 ollama run xxx(任何一个模子)。
https://i-blog.csdnimg.cn/blog_migrate/6612927f9355e4dd8813d3d1b9c2c6ff.png
通过终端或者命令行,访问 http://127.0.0.1:11434 进行验证:


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 创造将来知识管理新篇章:Ollama与AnythingLLM联手打造个人与企业的安全知