ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据-251 离线数仓 - Airflow 任务调度系统 安装部署测试 [打印本页]

作者: 小小小幸运    时间: 2024-12-18 22:14
标题: 大数据-251 离线数仓 - Airflow 任务调度系统 安装部署测试
点一下关注吧!!!非常感谢!!连续更新!!!

Java篇开始了!

如今开始更新 MyBatis,一起深入浅出!
如今已经更新到了:


章节内容



Airflow 根本介绍

Apache Airflow 是一个开源的任务调度和工作流管理工具,用于编排复杂的数据处理任务。最初由 Airbnb 开辟,于 2016 年捐赠给 Apache 软件基金会。Airflow 的主要特点是以代码方式界说任务及其依赖关系,支持任务的调度和监控,适合处理复杂的大数据任务。
Airflow 的特点

以代码为中心

Airflow 利用 Python 界说 DAG,提供机动性和可编程性。
扩展性强

用户可以自界说 Operator 和 Hook,集成各种数据源和工具。
强大的 UI 界面

提供可视化界面监控任务状态、查察日记、重试失败任务等。
丰富的调度选项

支持基于时间 (Time-based) 和事件 (Event-based) 的调度。
高可用性

配合 Celery 和 Kubernetes 等实行器,支持分布式架构,适合处理大规模任务。
利用场景

数据管道调度

用于管理数据从源到目标的 ETL 流程。
如每天从数据库中抽取数据、清洗后存入数据仓库。
呆板学习工作流管理

调度数据预处理、模型训练和模型部署任务。
数据验证

自动化查抄数据的质量和同等性。
定期任务自动化

定时清理日记、归档数据或生成陈诉。
Airflow安装部署

安装依赖


备注:背面要安装三个软件Airflow、Atlas、Griffin,相对Hadoop的安装都较为复杂

  1. pip install apache-airflow -i https://pypi.tuna.tsinghua.edu.cn/simple
  2. # 后续不一定需要 如果报错 根据缺少的依赖补齐即可
  3. # 不一定需要
  4. pip install mysqlclient -i https://pypi.tuna.tsinghua.edu.cn/simple
  5. # 不一定需要
  6. pip install SQLAlchemy -i https://pypi.tuna.tsinghua.edu.cn/simple
复制代码
安装过程如下所示:

环境变量

  1. # 设置目录(配置文件)
  2. # 添加到配置文件/etc/profile。未设置是缺省值为 ~/airflow
  3. export AIRFLOW_HOME=/opt/servers/airflow
复制代码
配置的结果如下所示:

初始化环境

  1. airflow initdb
复制代码
实行结果如下所示:

此时我们修改配置文件:
  1. vim /opt/servers/airflow/airflow.cfg
复制代码
查察 sql_alchemy_conn,修改一下内容:

  1. mysql://hive:hive%%40wzk.icu@h122.wzk.icu:3306/airflow_db
复制代码
修改的内容如下所示:

修改之后,生存,重新实行初始化操作(需要在数据库中确认已经建立了 airflow_db)
  1. airflow db init
复制代码
可以看到顺利的实行实行了

查察数据库

可以看到数据库中的表已经通过刚才的指令生成出来了:

创建用户

  1. airflow users create \
  2.    --username wzkicu \
  3.    --firstname wzk \
  4.    --lastname icu \
  5.    --role Admin \
  6.    --email airflow@wzk.icu
复制代码
生成结果如下图所示:

启动服务

  1. airflow scheduler -D
  2. airflow webserver -D
复制代码
启动结果如下图:

启动结果如下图:

访问服务

  1. http://h122.wzk.icu:8080
复制代码
可以看到访问结果如下所示:

输入刚才创建的账号和密码:

Web界面




免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。




欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4