AIGC：【LLM（六）】——Dify：一个易用的 LLMOps 平台

一.简介

1.1 LLMOps

LLMOps（Large Language Model Operations）是一个涵盖了大型语言模型（如 GPT 系列）开发、摆设、维护和优化的一整套实践和流程。LLMOps 的目标是确保高效、可扩展和安全地使用这些强盛的 AI 模型来构建和运行实际应用步调。它涉及到模型练习、摆设、监控、更新、安全性和合规性等方面。
1.2 Dify

Dify 一词源自 Define + Modify，意指定义并且连续的改进你的 AI 应用，它是为你而做的（Do it for you）。

如果你对诸如 GPT-4 之类的 LLM 技术高速发展感到惊奇和高兴，如饥似渴的想用它做点什么有效的东西！可你的头脑里又有一切令人困惑的问题：

• 我该如何“练习”一个基于我的内容的模型？
  
• 怎么让 AI 知道 2021 年以后的事变？
  
• 如何制止让 AI 跟用户颠三倒四？
  
• 微调（Fine-tuning）和嵌入（Embedding）是什么意思？
  

那么，Dify 正好能满意你的需要。
Dify 的目标是让开发者（乃至非开发者）可以快速基于大型语言模型搭建出有效的东西，并确保它是可视化、可运营、可改进的。
你可以使用 Dify 快速搭建一个 Web App，其天生的前端代码可以托管在 Dify 上。如果你想基于这个 Web App 进一步开发，你可以从 GitHub 中得到这些 Template，摆设到任何地方（例如 Vercel 或你的服务器）。大概，你也可以基于 WebAPI 开发你自己的 Web 前端、移动 App…总之，为你省下了后端开发的工作。
不止于此，Dify 的核心理念是在一个可视化的界面中创建、配置、改进你的应用。基于 LLM 的应用开发有一个连续改进的生命周期，你可能需要基于自己的内容让 AI 给予精确的回答，或是想提升 AI 的准确性和叙述风格，乃至让它去 YouTube 上下载一个字幕作为上下文。
这当中将会有些逻辑设计、上下文增强、数据准备等需要花些功夫的事变，如果没有工具你可能会寸步难行，我们称这个过程为 LLMOps。
简而言之，Dify 是一个易用的 LLMOps 平台，旨在让更多人可以创建可连续运营的原生 AI 应用。Dify 提供多种类型应用的可视化编排，应用可开箱即用，也能以后端即服务的 API 提供服务。
二.核心能力

1.可视化提示词编排：通过可视化界面创建和调试提示词，并在几分钟内发布 AI 应用步调。
2.与长上下文（数据集）的集成：使用您自己的数据作为上下文主动完成文本预处置惩罚，无需理解模糊概念和技术处置惩罚。
3.基于 API 的开发：后端即服务。直接访问 Web 应用步调或将 API 集成到您的应用步调中，无需担心复杂的后端架构和摆设流程。
4.数据标注和改进：通过可视化检察 AI 日志并改善数据标注，观察 AI 推理过程并连续提高性能。

三.Dify安装

在安装 Dify 之前，请确保您的机器满意以下最低系统要求：

• CPU >= 1 Core
  
• RAM >= 4GB
  

3.1 快速启动

启动 Dify 服务器的最简单方法是运行docker-compose.yml 文件。在运行安装命令之前，请确保您的机器上安装了 Docker 和 Docker Compose：

1. cd docker
2. docker compose up -d

复制代码

运行后，可以在浏览器上访问 http://localhost/install 进入 Dify 控制台并开始初始化安装操作。
3.2 配置

需要自定义配置，请参考 docker-compose.yml 文件中的注释，并手动设置环境配置，修改完毕后，请再次实行 docker-compose up -d。
四.Dify使用

只需四步，您就可以创建适应各种场景的人工智能应用，例如个性化谈天机器人、人工智能客服、基于专业知识的文本天生等。
第一步：直接创建应用步调，可以从零开始或使用模板。

第二步：可以用可视化的方式编写你的提示词，然后调试你的 AI 应用。

第三步：将您的私有数据或 API 功能集成到 Al 应用步调中，以增强上下文。

第四步：连续监控你的应用步调运行环境、标志数据，并改进您的人工智能。

Dify 已经一连支持了全球前列的模型优秀代表：OpenAI 的 GPT 系列、Anthropic 的 Claude 系列、Azure OpenAI 系列。别的，还支持国表里着名的开源模型如：Llama2、ChatGLM、百川Baichuan、通义千问-7B 等，凡托管在 Hugging Face 及 Replicate 上的模型，在 Dify 上只需要输入 Hugging Face 、 Replicate 的 API token 和模型名称就可以轻松接入调用。即将支持插件功能，更能开释大语言模型的无限潜力。

五.调用开源模型

Dify 支持模型托管和摆设平台 Replicate 和 Hugging Face 上所有的模型， Llama2、ChatGLM、百川 Baichuan、通义千问-7B 等你都可以轻松调用，快速构建性能优异且多样化的 AI 应用。

六.接通闭源模型

国内用户更关注的是模型的合规可控性，无疑国内闭源商用模型是最优选择。Dify 已接通国内闭源商用模型如文心一言、讯飞星火、MiniMax、通义千问，这些模型在安全性和代价观上更符合国情，满意合规检察和企业对可控性的需求。
以百度文心一言为例，用户在 Dify 用该模型创建应用时，关于“敏感词”的合规性问题会得到很好的处置惩罚：

Dify 为用户夺取到讯飞星火、MiniMax 分别 300 万、100 万的 token 体验额度，发起提前探索评测，选定得当自己业务的模型，大规模开放后即可在 Dify 上创建安全合规的 AI 应用。
如何申请体验额度？
通过 Dify 设置 --> 模型供应商 --> 讯飞星火或 MiniMax 图标处点击【免费获取】：

• 讯飞星火：免费领取 300 万 token，需要从 Dify 的入口进入，完成讯飞星火开放平台的注册，返回 Dify 静候 5 分钟即可在 Dify 页面表现可用额度（仅限未注册过讯飞星火的手机号）。
  
• MiniMax：免费领取 100 万 token，只需点击【免费领取】即可到账额度，无需手动注册流程。
  

七.在 Dify.AI 探索差别模型潜力

7.1 快速切换，测验差别模型的表现

基于 Dify 上集成的 LLMs，你可以在应用制作的页面下快速切换差别模型，仅需几分钟就可以敏捷评估在特定场景下各个模型的具体表现，这可以帮助你基于测试结果做出更明智的模型选择，获取最佳体验。

7.2 降低模型能力对比和选择的资本

已往，当你需要探索差别模型的能力边界，你需要逐个去研究差别模型的性能、不断调整差别模型的差别参数等，投入大量时间和精神。而如今基于 Dify，你只需要在应用的模型选择器中点击切换即可实现差别模型能力的反馈和对比。别的，Dify 已对各模型进行了预调优，设定最佳系统 Prompt，简化复杂的参数设置。你无需学习各模型的使用细节，直接在 Dify 上选择并得出最优模型方案。这极大降低了模型选择和调优的门槛，让你能更加高效地构建 LLM 应用。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。