【AI】mac 本地部署 Dify 实现智能体

打印 上一主题 下一主题

主题 884|帖子 884|积分 2652

下载 Ollama 访问 Ollama 下载页,下载对应系统 Ollama 客户端。大概参考文章【实战AI】macbook M1 本地ollama运行deepseek_m1 max可以跑deepseek吗-CSDN博客
dify 

开源的 LLM 应用开辟平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模子管理等能力,轻松构建和运营生成式 AI 原生应用。
https://cloud.dify.ai/app
前提条件是,本地安装好了docker 
 1. github 源码下载:
git clone https://github.com/langgenius/dify.git
2. 配置dify
执行
cd /dify/docker
cp .env.example .env
3.启动
docker compose up -d
自行注册登录即可;

访问
在你的欣赏里里输入http://localhost,就能看到如许的界面;

第一次登录,设置一下管理员账号。完成设置后,欣赏器会自动跳转到登录页面,输入用户名和暗码就能进入Dify 工作台。
配置本地模子

可以将自己本地的模子配置到dify中使用,也可以配置其他在线大模子,必要申请秘钥举行配置;
这里记载一下,我将我前两篇文章搭建的本地deepseek-r1:14b 模子配置的过程;

点击右上角用户名 》 设置 》 模子供应商
往下翻,找到ollama 




  • 模子名称: 可以执行 ollma list 查看

  • 基础 URL:http://<your-ollama-endpoint-domain>:11434
    若 Dify 为 Docker 部署,建议填写局域网 IP 地点,例如:http://192.168.1.100:11434 或 Docker 容器的内部 IP 地点,例如:http://host.docker.internal:11434。
    若为本地源码部署,可填写 http://localhost:11434。
在 Mac 上设置情况变量
如果 Ollama 作为 macOS 应用程序运行,则应使用以下命令设置情况变量 launchctl:

  • 通过调用 launchctl setenv 设置情况变量:
    Copy
    1. launchctl setenv OLLAMA_HOST "0.0.0.0"
    复制代码
  • 重启 Ollama 应用程序。



  • 模子类型:对话
  • 模子上下文长度:4096
    模子的最大上下文长度,若不清楚可填写默认值 4096。
  • 最大 token 上限:4096
    模子返回内容的最大 token 数量,若模子无特殊说明,则可与模子上下文长度保持同等。
  • 是否支持 Vision:是
    当模子支持图片明白(多模态)勾选此项,如 llava。
点击 "保存" 校验无误后即可在应用中使用该模子。



免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

干翻全岛蛙蛙

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表