Flink原理与代码实例解说
1.背景介绍
1.1 什么是Flink
Apache Flink是一个开源的分布式流处置惩罚和批处置惩罚框架,由Apache软件基金会开发。Flink以数据并行和流水线方式执行任意流数据步伐,Flink的流水线运行时系统可以执行批处置惩罚和流处置惩罚步伐。此外,Flink的运行时自己也支持迭代算法的执行。
1.2 Flink的应用场景
Flink广泛应用于电商、物流、互联网、制造、电信等行业,典型的应用场景包括:
- 及时数据处置惩罚:如及时日志分析、及时欺诈检测、及时保举等
- 数据分析:如离线数据分析、Ad-hoc查询、A/B测试等
- 机器学习:如猜测分析、异常检测等
- 变乱驱动应用:如及时ETL、及时监控诉警等
1.3 Flink的特点
- 变乱驱动(Event-driven):变乱驱动型应用是一类具有状态的应用,它从一个或多个变乱流提取数据,并根据到来的变乱触发计算、状态更新或其他外部动作。
- 基于流的世界观:在Flink的世界观中,一切都是由流组成的,离线数据是有界的流;及时数据是一个没有界限的流:这就是所谓的有界流和无界流。
- 分层API:Flink提供了不同级别的抽象,满意不同开发人员的需求。
- 支持变乱时间(event-time)和处置惩罚时间(processing-time)语义。
- 准确一次(exactly-once)的状态一致性保证。
- 低延迟、每秒处置惩罚数百万个变乱,毫秒级延迟。
- 与众多常用存储系统的毗连。
- 高可用:动态扩展,实现7*24小时全天候运行。
2.核心概念与联系
2.1 Flink运行时的组件
Flink运行时架
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
