干翻全岛蛙蛙 发表于 2025-2-19 15:20:45

【AI】mac 本地部署 Dify 实现智能体

https://i-blog.csdnimg.cn/direct/36f1eb572bb049148e226f6c19ce4743.png下载 Ollama 访问 Ollama 下载页,下载对应系统 Ollama 客户端。大概参考文章【实战AI】macbook M1 本地ollama运行deepseek_m1 max可以跑deepseek吗-CSDN博客
dify 

开源的 LLM 应用开辟平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模子管理等能力,轻松构建和运营生成式 AI 原生应用。
https://cloud.dify.ai/app
前提条件是,本地安装好了docker 
 1. github 源码下载:
git clone https://github.com/langgenius/dify.git
2. 配置dify
执行
cd /dify/docker
cp .env.example .env
3.启动
docker compose up -d
自行注册登录即可;

访问
在你的欣赏里里输入http://localhost,就能看到如许的界面;

第一次登录,设置一下管理员账号。完成设置后,欣赏器会自动跳转到登录页面,输入用户名和暗码就能进入Dify 工作台。
配置本地模子

可以将自己本地的模子配置到dify中使用,也可以配置其他在线大模子,必要申请秘钥举行配置;
这里记载一下,我将我前两篇文章搭建的本地deepseek-r1:14b 模子配置的过程;

点击右上角用户名 》 设置 》 模子供应商
往下翻,找到ollama 
https://i-blog.csdnimg.cn/direct/f0fa57e9e0b64667895cb884ec9aedbe.png
https://i-blog.csdnimg.cn/direct/ff5d0599de014a0fa886d3a5917b355f.png


[*] 模子名称: 可以执行 ollma list 查看https://i-blog.csdnimg.cn/direct/c3009829bb9f480bb8944dac0aa66831.png
[*] 基础 URL:http://<your-ollama-endpoint-domain>:11434
若 Dify 为 Docker 部署,建议填写局域网 IP 地点,例如:http://192.168.1.100:11434 或 Docker 容器的内部 IP 地点,例如:http://host.docker.internal:11434。
若为本地源码部署,可填写 http://localhost:11434。
在 Mac 上设置情况变量
如果 Ollama 作为 macOS 应用程序运行,则应使用以下命令设置情况变量 launchctl:

[*] 通过调用 launchctl setenv 设置情况变量:
Copy launchctl setenv OLLAMA_HOST "0.0.0.0"
[*] 重启 Ollama 应用程序。



[*] 模子类型:对话
[*] 模子上下文长度:4096
模子的最大上下文长度,若不清楚可填写默认值 4096。
[*] 最大 token 上限:4096
模子返回内容的最大 token 数量,若模子无特殊说明,则可与模子上下文长度保持同等。
[*] 是否支持 Vision:是
当模子支持图片明白(多模态)勾选此项,如 llava。
点击 "保存" 校验无误后即可在应用中使用该模子。



免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页: [1]
查看完整版本: 【AI】mac 本地部署 Dify 实现智能体