Apache Airflow 全面解析

立山  论坛元老 | 2025-1-26 13:06:21 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 1027|帖子 1027|积分 3081

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

x
1. Airflow 的定义与焦点定位

Apache Airflow 是一个开源的 工作流自动化与调度平台,由 Airbnb 于 2014 年创建,2016 年进入 Apache 孵化器,2019 年成为顶级项目。其焦点筹划理念是 “Workflows as Code”,通过编程方式定义、调度和监控复杂的数据流水线(Pipeline),实用于 ETL、机器学习模子训练、数据湖管理、报表生成 等场景。
<hr> 2. 焦点概念与架构解析

2.1 焦点组件

    组件   功能形貌         DAG (Directed Acyclic Graph)   定义任务依靠关系的焦点抽象,以有向无环图情势形貌工作流逻辑。       Operator   任务执行单元,封装具体操纵(如 Bash、Python、数据库操纵)。分三类:Action、Transfer、Sensor。   
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

立山

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表