下载 Ollama 访问 Ollama 下载页,下载对应系统 Ollama 客户端。大概参考文章【实战AI】macbook M1 本地ollama运行deepseek_m1 max可以跑deepseek吗-CSDN博客
dify
开源的 LLM 应用开辟平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模子管理等能力,轻松构建和运营生成式 AI 原生应用。
https://cloud.dify.ai/app
前提条件是,本地安装好了docker
1. github 源码下载:
git clone https://github.com/langgenius/dify.git
2. 配置dify
执行
cd /dify/docker
cp .env.example .env
3.启动
docker compose up -d
自行注册登录即可;
访问
在你的欣赏里里输入http://localhost,就能看到如许的界面;
第一次登录,设置一下管理员账号。完成设置后,欣赏器会自动跳转到登录页面,输入用户名和暗码就能进入Dify 工作台。
配置本地模子
可以将自己本地的模子配置到dify中使用,也可以配置其他在线大模子,必要申请秘钥举行配置;
这里记载一下,我将我前两篇文章搭建的本地deepseek-r1:14b 模子配置的过程;
点击右上角用户名 》 设置 》 模子供应商
往下翻,找到ollama
- 模子名称: 可以执行 ollma list 查看
- 基础 URL:http://<your-ollama-endpoint-domain>:11434
若 Dify 为 Docker 部署,建议填写局域网 IP 地点,例如:http://192.168.1.100:11434 或 Docker 容器的内部 IP 地点,例如:http://host.docker.internal:11434。
若为本地源码部署,可填写 http://localhost:11434。
在 Mac 上设置情况变量
如果 Ollama 作为 macOS 应用程序运行,则应使用以下命令设置情况变量 launchctl:
- 通过调用 launchctl setenv 设置情况变量:
Copy- launchctl setenv OLLAMA_HOST "0.0.0.0"
复制代码 - 重启 Ollama 应用程序。
- 模子类型:对话
- 模子上下文长度:4096
模子的最大上下文长度,若不清楚可填写默认值 4096。
- 最大 token 上限:4096
模子返回内容的最大 token 数量,若模子无特殊说明,则可与模子上下文长度保持同等。
- 是否支持 Vision:是
当模子支持图片明白(多模态)勾选此项,如 llava。
点击 "保存" 校验无误后即可在应用中使用该模子。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |