Azkaban【底子 01】核心概念+特点+Web界面+架构

• 2. 特点
  
• 3. 与Ooize简单对比
  
• 4. 架构
  
• 5. Job范例
  
• 6. 总结
  

1. 工作流调理体系办理了什么问题

我曾经到场过一个数据管理的项目，项目标大概流程是【数据获取-数据清洗入库-展示】：

这时候就出现问题了，数据导入乐成后要执行清洗流程，那什么时候数据导入完成呢？又是什么时候开始执行数据清洗流程呢？盯着固然是可以的，但是复杂的流程我们实现了自动化，执行的时候却要人工，比力浪费时间。直接使用crontab可以实现定时，但是无法实现顺序执行。
我们其时本身搭建了一个调理平台，实现的功能是定时调理指定的shell脚本，shell脚本去调用ktr大概kjb脚本并输出日志数据，这个平台办理了数据导入阶段，也办理了数据清洗阶段，但是没能实现自动化，因为不知道数据导入何时结束、导入是否乐成，也就没法定时调用清洗脚本，终极，这个平台也被放弃了，我们合并了shell脚本，本身在Linux体系上进行执行及数据校验。