IT评测·应用市场-qidao123.com技术社区

标题: DPDI(Dispatch PDI)kettle调度管理平台之到场前后的对比剖析 [打印本页]
作者: 汕尾海湾    时间: 6 天前
标题: DPDI(Dispatch PDI)kettle调度管理平台之到场前后的对比剖析
DPDI(Dispatch PDI)kettle调度管理平台

--到场前后的对比剖析

引言

在数据处理范畴，Kettle（Pentaho Data Integration）作为一款广受欢迎的开源ETL工具，以其强大的数据处理能力和机动性赢得了众多用户的青睐。然而，Kettle在任务调度和监控方面的功能相对薄弱，这在一定水平上限制了其在复杂数据处理场景中的应用。为了克服这一局限，Dispatch PDI（以下简称DPDI）应运而生，为Kettle用户带来了全新的任务调度和管理体验
DPDI简介

DPDI定义
DPDI(全称Dispatch PDI)是一款基于Kettle的强大在线任务调度平台，依附其高效与机动性，专为调度和监控Kettle客户端生成的ETL任务而设计，是您的智能ETL任务调度专家
DPDI特性
DPDI功能清单

kettle在没有DPDI前后对比

没有DPDI之前：如何配置定时任务?

Windows配置定时任务
第一步：先写bat文件

第二步：设置任务计划步伐

Linux配置定时任务：主要通过crond设置

没有DPDI之前：Kettle任务的调度管理困境


手动操纵繁琐
在没有DPDI之前，Kettle的任务调度主要依赖于命令行工具，如Linux的Crontab或Windows的计划任务。用户必要手动编写脚本，配置任务的执行时间和次序。这种方式不但操纵复杂，而且容易堕落，尤其是在任务数量较多或任务依赖关系复杂时，管理难度明显增加。
任务监控困难
缺乏统一的监控界面，用户无法实时查看任务的执行状态。一旦任务失败，必要手动查看日志文件来排查题目，这不但耗时耗力，还可能导致题目发现和办理的耽误。
性能受限
缺乏动态资源分配机制，导致任务优先级与资源需求无法精准匹配，进而引发资源闲置或任务执行耽误等题目。此外，传统的Cron调度方式存在明显局限性，异步调用时间难以有效错峰，任务触发精度不足，进一步影响整体调度服从和资源配置的机动性。
安全性不足
Kettle客户端的文件库内容在系统瓦解时容易丢失，缺乏数据备份和恢复机制。同时，没有统一的权限管理功能，无法对用户进行细粒度的权限控制，存在数据泄漏和误操纵的风险。
用户体验不佳
Kettle本身的操纵界面较为复杂，缺乏可视化和交互性，用户操纵体验较差。此外，部署过程繁琐，必要手动配置环境变量、安装依赖，对技术要求较高。
有了DPDI之后：功能与体验的全面提升


集中化任务管理
DPDI提供统一的任务管理界面，用户可以通过图形化界面直观地定义、监控和调整任务。任务的执行状态、日志和依赖关系一目了然，极大地提升了任务管理的服从和便捷性。
机动的调度策略
支持多种调度方式，包罗基于时间的Cron调度、基于事件的触发调度（任务间隔）等。用户可以根据业务需求机动设置任务的执行时间和触发条件，满意复杂场景下的调度需求。
性能优化与提升
DPDI能够根据配置主机的空闲水平动态分配资源，确保任务高效执行。自研调度机制并修复了Cron调度方式的重复调用题目，确保任务触发精准到秒，提升了调度的稳定性和可靠性以及可扩展性。
加强的数据安全性
提供数据备份和恢复功能，确保数据的安全性和可靠性。基于RBAC（角色基权限控制）模式，DPDI支持对用户、角色和权限的细粒度管理，确保每个用户只能访问和操纵本身权限范围内的任务和数据。
优化的用户体验
支持Windows、Mac和Linux环境，用户可以通过简单的启动脚本快速完成部署，无需复杂的配置。配备美观易用的UI，提供便捷的可视化操纵体验，降低了使用门槛，提升了用户的操纵体验。
DPDI如何办理实际题目

快速部署任务

通过DPDI的图形化界面，用户可以快速导入资源文件(.xml)或通过文件路径配置方式获取Kettle生成的ETL任务，并设置任务的调度策略（如Cron表达式，间隔执行等）。例如，在DPDI实操演练001讲中，用户可以轻松上传kettle作业和转换文件、文件夹等，并配置任务的运行环境和参数。
通过仓库管理快速导入或配置路径获取kettle任务
DPDI仓库管理支持文件资源库和数据库资源库两种类型。对于数据库资源库，用户仅需配置数据库连接信息即可快速接入。文件资源库则提供两种便捷方式：用户可以直接导入Kettle导出的XML资源库文件，也可以通过配置资源库路径直接获取Kettle任务。

资源库配置完成后，用户可在仓库明细页对修改后的Kettle任务进行单个上传更新，也可通过文件夹批量上传的方式来管理kettle任务，真正实现任务的高效管理。

通过任务配置界面快速配置kettle任务调度策略
DPDI提供直观的图形化任务配置界面，支持本地文件和资源库两种任务类型调度。调度方式机动多样，包罗手动触发、任务间隔设置以及Cron表达式三种模式。此中，Cron表达式采用自研调度机制，用户可以通过图形化界面便捷选择定时策略，或直接输入表达式快速设定定时时间。每一步设置均配备实时结果显示，并提供近5次运行时间的详细记录，帮助用户精准确认任务定时设置的正确性，确保调度操纵高效、精准，全面提升任务管理体验。

实时监控任务

DPDI提供实时监控功能，用户可以随时查看任务的执行状态、日志和性能指标。一旦任务失败，系统会自动发送预警通知（如邮件，企业微信或钉钉），帮助用户快速定位和办理题目。
任务监控界面

任务日志界面

机动调整任务

用户可以根据业务需求随时调整任务的执行时间和优先级，确保任务调度的机动性和适应性。例如，在DPDI实操演练中，用户可以轻松修改任务的Cron表达式或参数，以适应新的业务需求。
任务调整界面

资源管理与优化

DPDI支持多服务器多kettle版本运行任务。同时，DPDI会根据任务的负载环境自动调整资源分配，确保任务的高效执行。
装备管理界面

权限管理与安全

通过DPDI的系统管理菜单，管理员可以为差别用户分配差别的权限，确保数据的安全性和操纵的规范性。例如，在DPDI实操演练中，管理员可以为ETL开发人员（ETL开发人员不需看到正式环境暗码）和运维人员（运维人员不能编辑任务配置等）设置差别的权限，确保任务的安全执行。
权限管理界面
 

详细功能模块剖析

首页

DPDI首页主要是显示任务监控信息，当一个任务（kettle作业或转换）启动后，这个任务就处于被DPDI监控状态下。首页主要展示了任务运行统计指标和任务运行趋势，任务运行统计包含四个指标：总执行任务数、执行中任务数（执行中和待执行任务）、成功任务数、失败任务数。每个指标可点击跳转到日志明细，方便用户快速查看任务运行环境。任务运行趋势可对近一周、近一月、所有任务执行趋势及占比分析，让使用者很清晰的监控任务运行环境。
首页界面


资源管理

资源管理主要是对任务的运行环境进行配置和管理，对kettle客户端开发好的任务（作业和转化）进行管理以及对任务必要的数据库连接进行配置和管理，包罗装备管理、JNDI管理、仓库管理、变量管理、版本管理五个功能模块。
装备管理

装备管理可对任务远程运行环境进行新增和编辑，可省去使用者对任务运行环境的部署。用户只必要新增配置服务器信息（可以是N台ETL机器），DPDI会自动部署任务运行环境到指定路径，大大省去了使用者部署本钱。
装备管理界面

JNDI管理

JNDI管理可配置kettle任务必要的JNDI连接信息（注：JDBC连接方式只需在kettle任务配置即可，DPDI会自动获取JDBC连接信息），详细配置项包含数据库名称（这里必要和kettle配置的JNDI名称同等）、数据库描述、数据库驱动、数据库URL（连接必要的更多设置用&符拼接）、数据库用户名、数据库暗码（注：选择类型可在下拉菜单中选择常用数据库类型配置模板），配置信息保存在jdbc.properties文件中。
JNDI管理界面

仓库管理

仓库管理专注于对Kettle客户端开发任务（含转换与作业）的高效管控。其具备强大资源库导入功能，涵盖数据资源库及文件资源库。文件资源库导入方式机动，既可通过导入Kettle客户端导出的资源库 xml 文件实现，也可直接配置资源库路径获取Kettle任务。同时，仓库管理支持对导入的历史版本进行实时监控与便捷查看，方便用户追溯任务演变历程。在仓库明细页面，用户可机动创建目录及单个任务文件，还能以文件夹形式批量导入任务。此外，DPDI仓库管理提供任务简单预览功能，助力用户快速掌握任务概况，提升工作效能。
仓库管理界面

仓库明细界面

变量管理

使用kettle变量可实现ETL的复用、D,Q,P环境差别使用变量方便发布、有的条件必要外部传入、实现增量ETL、机动性强等用处，这里的环境变量设置保存在kettle.properties文件中，路径为：${KETTLE_HOME}\kettle.properties，主要存放PDI的通用参数。
变量管理界面

版本管理

版本管理可对PDI官网发布的版本进行添加和管理，可新增和修改版本中对应的JAR（对lib目录下的JAR进行新增和删除）。该功能主要是帮助用户对多版本运行需求的管理，DPDI已管理和维护了12个版本，用户部署后可直接选择使用。
版本管理界面

任务管理

任务管理作为DPDI的焦点功能模块，同时也是kettle调度管理系统存在的主要短板所在。其关键价值在于对kettle开发的任务开展调度配置管理，并支持对任务运行日志进行查看与监控，整体架构涵盖任务配置以及运行历史这两大焦点功能模块。
任务配置

任务配置为Kettle开发任务的调度管理提供了全方位的办理方案。在功能设置上，全面覆盖任务基础信息的精细化设定，包罗准确填写任务名称、公道配置日志级别以及明确选择任务类型等关键要素，确保任务从创建伊始便拥有完整且规范的基本信息架构。
运行方式选择上，提供机动多样的模式以适配差别业务场景需求。用户可根据实际环境选择自动或手动运行方式。自动运行模式下，既可通过熟练手工输入准确的 Cron 表达式，也可便捷地点击设置，借助直观的页面配置工具完成设定，充分满意差别用户操纵习惯与任务调度精细化要求。值得一提的是，自动运行模式还支持任务间隔调度方式，只有当任务运行有结果后才根据间隔设置执行任务。
在运行环境选择方面，为用户打造了机动且强大的配置体系。支持选择运行主机，涵盖本地和远程两种环境。若选择远程运行，可进一步挑选适配的运行版本；而本地运行时则默认使用Kettle版本，同时需留意最小内存必选值应大于 512M，以保障任务运行的稳定性和流畅性，最大内存设置也应公道规划，确保资源充分利用。
此外，DPDI 任务配置功能全新升级，特别增加了任务类型为 “本地文件运行” 的选项。这一创新设计主要旨在方便用户无需构建资源库，即可快速执行任务。用户仅需简单操纵，即可直接通过本地文件运行任务，极大地简化了任务执行前的准备工作，有效提升工作服从，尤其适用于对任务执行服从有较高要求的场景，让用户能够迅速响应业务需求，实现任务的即时运行与管理。
DPDI 的任务调度机制由三倍镜团队自主研发，拥有完整的源代码知识产权。这不但保障了平台的创新性与专业性，还为调度其他 ETL 工具提供了可能，为未来的功能拓展奠定了坚实基础。
任务配置界面
DPDI的任务配置极为简便，仅需选定已配置的资源库，找到相应任务路径，即可快速完成调度任务配置。

运行历史

运行历史，是对kettle任务运行的环境进行日志记录，详尽的日志管理能帮助追踪任务状态和历史，可通过任务名称和任务状态以及运行时间进行筛选查看，方便用户快速定位、诊断题目。
运行历史界面

预警管理

DPDI 预警管理是针对Kettle任务运行错误的预警通知设置，设有预警配置与预警记录两个模块。DPDI支持邮箱、钉钉和企业微信三种常见预警方式，当任务执行失败时，可迅速通过上述渠道向用户发送通知，助力用户迅速察觉非常，保障任务执行的连续性与稳定性。此外，用户能借助日志文件精准定位报错成因，为高效的任务监控与题目溯源提供有力支撑。
预警配置

DPDI 预警配置支持邮箱、钉钉、企业微信三种方式，配置方法有详细指引，完成后可一键测试验证。
预警配置界面

预警记录

DPDI 预警记录任务失败预警通知发送历史，助力快速溯源题目。
预警记录界面


系统管理

系统管理负责用户功能权限和DPDI系统存储配置，涵盖用户管理、权限管理、菜单管理和系统配置四个模块。
用户管理

用户管理可便捷分配角色和权限，保障系统安全
用户管理界面

权限管理

权限管理可机动配置功能菜单权限
权限管理界面

菜单管理

菜单管理通过点击“同步”按钮，快速查看所有菜单及功能模块信息
菜单管理界面

系统配置

DPDI系统配置支持快速切换应用数据库存储，变更后系统自动检测并更新，实现智能化操纵。默认启动存储在h2数据库，用户登录后可在系统配置中修改。如需部署时直接存储到mysql，提前准备db.properties文件并置于DPDI启动脚本starup.*同目录即可。
系统配置界面

db.properties文件路径

请在DPDI的db.properties 文件中填写以下内容：
驱动类型：指定为 MySQL 数据库驱动，连接信息：输入 MySQL 数据库的详细连接信息，包罗数据库服务器地址、端口号、用户名及暗码。
示例格式如下：
driverClassName = com.mysql.jdbc.Driver
url=jdbc:mysql://[数据库地址]:[端口]/[数据库名称]
username=[用户名]
password=[暗码]

关于

提供系统简介、版本及版权信息，助您快速掌握系统基本环境。版权信息随版本更新而调整，便于您全面了解系统详情。
关于界面

智能问答

三倍镜公众号智能问答，助力用户高效解答平台操纵、功能疑问等常见题目。我们不断优化升级，定期更新知识库，确保提供最新、最准确的信息，让服务更智能便捷。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 IT评测·应用市场-qidao123.com技术社区 (https://dis.qidao123.com/) Powered by Discuz! X3.4