Llama + Dify，在你的电脑搭建一套AI工作流
本文简介最近字节在推Coze，你可以在这个平台制作知识库、制作工作流，生成一个具有特定领域知识的智能体。
https://i-blog.csdnimg.cn/direct/03bb559bbe724329a0ae5b83b2751587.png
那么，有没有可能在本地也摆设一套这个东西呢？这样敏感数据就不会泄露了，断网的时候也能使用AI。
刚好最近 Llama 3.1 发布了，本文就以 Llama 3.1 作为底子模型，配合 Dify 在本地搭建一套“Coze”。
跟着本文一步步操纵，保证能行！
Dify是什么？
Dify 官网(difyai.com/) 的自我介绍：Dify 是开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。
https://i-blog.csdnimg.cn/direct/6c707f96ab2245d89fb0f16871e5cfef.png
动手搭建
在本地搭建这个平台很简单，实在 Dify文档(docs.dify.ai/v/zh-hans) 里都写得显着白白了，而且还有中文文档。
具体来说需要做以下几步：
[*]安装 Ollama
[*]下载大模型
[*]安装 Docker
[*]克隆 Dify 源代码至本地
[*]启动 Dify
[*]配置模型
接下来一步步操纵。
https://i-blog.csdnimg.cn/direct/cedce09f445740cb9e87d6c9462f30b2.png
安装 Ollama
简单来说 Ollama 是运行大语言模型的情况，这是 Ollama 的官网地址 （ollama.com/ ），打开它，点击 Download 按钮下载 Ollama 客户端，然后傻瓜式安装即可(不绝点“下一步”)。
外链图片转存失败,源站可能有防盗链机制,发起将图片保存下来直接上传
安装完成后就能看到一个羊驼的图标，点击运行它即可。
https://i-blog.csdnimg.cn/direct/b8a3b6d916c645a58d4b313521f322d3.png
下载大模型
安装完 Ollama 后，我们到 Ollama 官网的模型页面(ollama.com/library)挑选一下模型。
https://i-blog.csdnimg.cn/direct/1b7efb22247e46248f3da8d03a973c79.png
这里面有很多开源模型，好比阿里的千问2，搜刮 qwen2 就能找到它。
本文使用 Llama 3.1 ，这是前两天才发布的模型，纸面参数贼强。
打开 Llama 3.1 模型的地址(ollama.com/library/lla…)，根据你需求选择合适的版本，我选的是 8b 版。
https://i-blog.csdnimg.cn/direct/d8322e7f106c4c16892d8a309d642aac.png
选好版本后，复制上图右侧红框的下令，到你电脑的终端中运行。
如果你还没下载过这个模型它就会自动下载，如果已经下载过它就会运行这个模型。
运行后，你就可以在终端和大模型对话了。
https://i-blog.csdnimg.cn/direct/cb8220137a8a4e27a71f0232ebd393f7.png
固然，我们不会这么原始的在终端和大模型对话，我们可是要搞工作流的！
安装 Docker
前面的底子步骤都搞掂了，接下来就要开始为运行 Dify 做准备了。
先安装一下 Docker ，打开 Docker 官网(www.docker.com/)，根据你体系下载对应的安装包，然后照旧傻瓜式安装即可。
https://i-blog.csdnimg.cn/direct/9ae4dfab498048c4900a2f06fa39d93e.png
克隆 Dify 源代码至本地
要使用 Dify ，首先要将它拉到你电脑里。
git clone https://github.com/langgenius/dify.git
在你电脑里找个位置（目录），用 git 将 Dify 克隆下来，用上面这条下令克隆就可以了。
启动 Dify
进入 Dify 源代码的 docker 目录，执行一键启动下令：
cd dify/docker
cp .env.example .env
docker compose up -d
启动完成后，你的 docker 里就会看到这个
https://i-blog.csdnimg.cn/direct/37177c5018ee452f89aa01d4ea68047a.png
此时你在欣赏器输入 http://localhost 就能看到这个界面。
https://i-blog.csdnimg.cn/direct/c6e7dc8565284262814ceb1d8db20d3a.png
初次打开 Dify 需要你设置一下管理员的账号。
然后用管理员账号登录，可以看到下面这个页面。
https://i-blog.csdnimg.cn/direct/e0ed449d826a4edd99afb69e6ed2e333.png
点击“创建空白应用”就可以创建谈天助手、文本生成应用、Agent、工作流。
https://i-blog.csdnimg.cn/direct/1e2498ffe86841a49e99ff0010de5183.png
我们点击"工作流"就能看到雷同Coze的工作流编辑界面了。
https://i-blog.csdnimg.cn/direct/ccbc0b9706474bac9e7493f96ac8acc6.png
配置模型
在配置工作流之前，我们需要给 Dify 配置大语言模型。
点击页面右上角的管理员头像，然后选择“设置”。
https://i-blog.csdnimg.cn/direct/4a4a971b15e54ec685ea30cbb3f8f97e.png
选择“模型供应商”，然后点击“Ollama”的卡片添加模型。
https://i-blog.csdnimg.cn/direct/c9441bffe11f4f038d19694ff7e0578a.png
在添加 Ollama 模型时，弹窗的左下角有一个“如何继承 Ollama”的按钮，点击它会跳转到 Dify 官方文档教你怎么配置，但这里可能会有个小坑。
https://i-blog.csdnimg.cn/direct/778c0ed573c64611a4d3058fb231dad9.png
前面我们已经使用 Ollama 把 Llama 3.1 运行起来了，在欣赏器打开 `http://localhost:11434 看到这个界面证实模型运行成功。
https://i-blog.csdnimg.cn/direct/28bba7f8126b480d97ba54bc41a16a34.png
此时在“添加 Ollama”将资料填写好，“底子 URL”里输入 http://localhost:11434 即可。
https://i-blog.csdnimg.cn/direct/578a4055853546d0bd60832f5e8c579d.png
如果你是 Mac 电脑，填入以上资料有可能会报这个错：
https://i-blog.csdnimg.cn/direct/8ce32639478c40e6bbf833aca56dafe8.png
An error occurred during credentials validation: HTTPConnectionPool(host='localhost', port=11434): Max retries exceeded with url: /api/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0xffff5e310af0>: Failed to establish a new connection: Connection refused'))
此时你需要在“底子 URL”里填入 http://host.docker.internal:11434。
遇到题目可以看 Dify 官方文档的 FAQ。
https://i-blog.csdnimg.cn/direct/a57875a416e54e8cb299fd6238d3db0a.png
添加完成后你就可以在模型列表里看到它了。
https://i-blog.csdnimg.cn/direct/b50322fb3db34159bc64938b99ae49c8.png
除了接入 Ollama 外，Dify 还支持接入 OpenAI 等闭源模型，但需要你去 OpenAI 那边买个服务。
以上就是本文的全部内容啦，如果本文对你有帮助的话也请你分享给你的朋侪～
零底子如何学习AI大模型
领取方式在文末
为什么要学习大模型？
学习大模型课程的紧张性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技能，如自然语言处理和图像辨认，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以把握设计和实现基于大模型的应用体系所需的基本原理和技能，从而提升自己在数据处理、分析和决议制定方面的能力。别的，大模型技能在多个行业中的应用日益增加，把握这一技能将有助于进步就业竞争力，并为将来的创新创业提供坚实的底子。
大模型典范应用场景
①AI+教导：智能教学助手和自动评分体系使个性化教导成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，进步学习效果。
②AI+医疗：智能诊断体系和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助大夫进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理体系帮助投资者做出更明智的决议，并及时监控金融市场，辨认潜在风险。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。
大模型就业发展远景
根据脉脉发布的《2024年度人才迁徙报告》显示，AI干系岗位的需求在2024年就已经十分强劲，TOP20热招岗位中，有5个与AI干系。
https://i-blog.csdnimg.cn/direct/53aa162017f24ce0abc719c3f47f74a9.png字节、阿里等多个头部公司AI人才紧缺，包括算法工程师、人工智能工程师、保举算法、大模型算法以及自然语言处理等。
https://i-blog.csdnimg.cn/direct/87b612f838ec4174b133e5f9d8e48538.png
除了上述技能岗外，AI也催生除了一系列高薪非技能类岗位，如AI产物司理、产物主管等，平均月薪也到达了5-6万左右。
AI正在改变各行各业，行动力强的人，早已吃到了第一波红利。
最后
大模型很多技能干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
大模型全套学习资料领取
如果你对大模型感兴趣，可以看看我整合而且整理成了一份AI大模型资料包，需要的小搭档文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
https://i-blog.csdnimg.cn/direct/4913e339cf1a423c89d300fde5138f7c.png
部门资料展示
一、 AI大模型学习路线图
整个学习分为7个阶段
https://i-blog.csdnimg.cn/direct/d54d6d4e41f34fb9a74b0d7fa34ad588.png
https://i-blog.csdnimg.cn/direct/f546f1a1b537405c988188557496418c.jpeg
二、AI大模型实战案例
涵盖AI大模型的理论研究、技能实现、行业应用等多个方面。无论您是科研人员、工程师，照旧对AI大模型感兴趣的爱好者，皆可用。
https://i-blog.csdnimg.cn/direct/b669e6cf627b4f5bb0fdfefa4f606c54.png
https://i-blog.csdnimg.cn/direct/662f4cd4125e42dc8ec9896437f39b7b.png
https://i-blog.csdnimg.cn/direct/749ecdc44d694b058aecac344f7004ef.png
三、视频和书籍PDF合集
从入门到进阶这里都有，跟着老师学习事半功倍。
https://i-blog.csdnimg.cn/direct/2fe8cda4f3c24dbfad22635e097e5ee2.png
https://i-blog.csdnimg.cn/direct/ff28870830274fee817b140c2004ccc4.png
https://i-blog.csdnimg.cn/direct/fd8e5744232549f183174a195c6a1a65.png
四、LLM面试题
https://i-blog.csdnimg.cn/direct/742e89ce31ce427fbf989af3ed16f073.png
https://i-blog.csdnimg.cn/direct/512af4aa1d4c46929cfc7fdf1cee6647.png
五、AI产物司理面试题
https://i-blog.csdnimg.cn/direct/1808a68158c24922b5321d2de0c197cc.png
六、deepseek摆设包+本领大全
https://i-blog.csdnimg.cn/direct/7adf1066b91a438292284768b4f36435.png
页:
[1]