一、到场方式
批评:"把握Flink,驭大数据,实战无惧!",即可到场乐成。
1、关注博主的账号。
2、点赞、收藏、批评博主的文章。
3、在文章下留下批评,每位到场者最多可以批评三次。
📚 本次抽奖将 送出1至3本 册本,详细数量取决于运动期间的阅读量,阅读量越高,送出的册本数量也会相应增长。
🕚 运动停止时间为 2024年4月30日晚上8点整。博主将会抽奖步调随机抽取荣幸观众,并在动态中公布抽奖结果。
如果您有特别需求或想要获取更多福利,请添加博主的微信号(文末)、到场粉丝福利群。
⚡ 注意: 运动竣过后,中奖观众将会收到博主的私信关照,请注意检察您的私信消息、关注博主动态检察中奖信息。
二、本期保举图书
2.1 作者简介
汪明,中国矿业大学硕士,徐州软件协会副理事长,某创业公司合资人。从事软件行业十余年,发表论文数十篇。著有图书《Python大数据处理惩罚库PySpark实战》《TypeScript实战》《Go并发编程实战》。
2.2 编辑保举
1、由于阿里对Flink的收购以及改进,现在Flink社区非常生动,社区不绝致力于同一流处理惩罚和批处理惩罚API,并徐徐加强Flink SQL干系功能,即渴望通过SQL来满足大部分的大数据ETL处理惩罚场景。
2、Flink在百度、阿里、字节跳动、小米和腾讯等贸易巨头中有成熟的应用,逐日可以处理惩罚万亿的事故,且可以维护TB级别的状态信息。
3、如果你对及时大数据处理惩罚感爱好,致力于构建分布式大数据处理惩罚应用步调,而且有一点Java编程根本,那么本书得当你。
4、本书先对Flink根本的安装过程举行分析,并对Flink分布式架构、内部数据处理惩罚过程等举行详细分析,末了团结一个综合案例讲授大数据及时处理惩罚过程。
5、本书以实例为主线,引发读者的阅读爱好,让读者可以大概真正学习到Flink 最实用、最前沿的技能。
2.3 前 言
随着物联网 、5G以及大数据技能的发展,人类已经进入大数据期间,绝不浮夸地说,未来IT干系的职位,一项必备技能就是大数据处理惩罚本领。当前,人类基于大数据和人工智能等技能,在特定范畴中可以大大提升业务体系的智能化水平。
人类对于盘算速率的寻求从未克制,纵然面临海量的数据,我们也渴望大数据框架可以在非常低的耽误下举行相应,从而提升用户的体验。
主流的分布式大数据盘算框架有Storm、Spark和Flink,由于阿里对Flink的收购以及改进,现在Flink社区非常生动,社区不绝致力于同一流处理惩罚和批处理惩罚API,并徐徐加强Flink SQL干系功能,即渴望通过SQL来满足大部分的大数据ETL处理惩罚场景。别的,随着Flink SQL功能的加强和发展,也大大低落了Flink学习的难度。
现在,Flink在百度、阿里、字节跳动、小米和腾讯等贸易巨头中有成熟的应用,逐日可以处理惩罚万亿的事故,且可以维护TB级别的状态信息。Flink支持多种编程语言,可以用Java、Scala以及Python举行大数据业务处理惩罚。与此同时,Flink支持机动的窗口盘算以及乱序数据处理惩罚,这相对于其他大数据盘算框架来说,有比力强的上风。
如果你对及时大数据处理惩罚感爱好,致力于构建分布式大数据处理惩罚应用步调,而且有一点Java编程根本,那么本书得当你。本书作为Flink的入门讲义,由浅入深地对Flink大数据处理惩罚方法举行先容,特别对常用的DataStream API和DataSet API、Table API 和SQL举行了详细的分析,末了团坚固战项目,将各个知识点有机整合,做到理论接洽现实。
本书涉及的技能和框架:
本书涉及的技能和框架包罗Flink、IntelliJ IDEA、Java、Kafka、jQuery、HTML5、Node.js、Maven。
2.4 本书特点
(1)理论接洽现实。本书先对Flink根本的安装过程举行分析,并对Flink分布式架构、内部数据处理惩罚过程等举行详细分析,末了团结示例代码举行分析,做到理论接洽现实。
(2)深入浅出、轻松易学。本书以实例为主线,引发读者的阅读爱好,让读者可以大概真正学习到Flink 最实用、最前沿的技能。
(3)技能新颖、与时俱进。本书团结当前最热门的技能,如Node.js和HTML5等,让读者在学习Flink的同时,相识更多干系的先辈技能。
(4)知心提示。本书根据须要在各章利用了很多“注意”小栏目,让读者可以在学习过程中更轻松地明确干系知识点及概念。
2.5 内容简介
Apache Flink是一个框架和分布式处理惩罚引擎,用于对无界和有界数据流举行有状态的盘算,广泛应用于大数据干系的现实业务场景中。本书是一本从零开始讲授Flink的入门讲义,学习本书须要有Java编程根本。
本书共分10章,内容包罗Flink开辟环境搭建、Flink架构和原理、时间和窗口、状态管理和容错机制、数据范例与序列化、DataStream API和DataSet API、Table API和SQL、Flink并行、Flink摆设与应用,末了以一个Flink实战项目为例,对Flink干系知识举行综合实践,此中涉及Web页面展示、WebSocket协媾和Node.js服务等技能。
本书内容细致、示例丰富,得看成为Flink初学者必备的参考书,也非常得看成为高等院校和培训机构大数据及干系专业的师生教学参考。
2.6 本书实用读者
1、有一点Java编程根本的初学者
2、大数据处理惩罚与分析职员
3、 从过后端开辟,对大数据开辟有爱好的职员
4、想用Flink构建大数据应用的职员
5、想从事大数据技能工作的大中专院校门生
6、Java开辟和Java架构职员
7、大数据技能培训机构的师生
2.7 册本目次
第1章 Flink环境搭建 1
1.1 下载安装 1
1.1.1 什么是Flink 1
1.1.2 Flink用户 3
1.1.3 JDK安装 4
1.1.4 Scala安装 7
1.1.5 Python安装 10
1.1.6 FinalShell安装 12
1.2 设置与开辟工具 15
1.2.1 根本设置 15
1.2.2 IDEA开辟工具 17
1.3 编译 19
1.3.1 Scala项目模板 19
1.3.2 Java项目模板 24
1.3.3 Python项目 28
1.3.4 项目编译 30
1.4 运行Flink应用 31
1.4.1 单机Standalone模式 31
1.4.2 多机Standalone模式 37
1.4.3 On Yarn集群模式 37
1.5 本章小结 38
第2章 界说、架构与原理 39
2.1 流处理惩罚的应用场景 39
2.1.1 数据预处理惩罚场景 40
2.1.2 预警场景 40
2.1.3 及时数量统计场景 40
2.1.4 数据库交互场景 40
2.1.5 跟踪场景 40
2.1.6 基于数据流的呆板学习场景 41
2.1.7 及时主动控制场景 41
2.2 流处理惩罚的原理 41
2.2.1 流数据特性 41
2.2.2 Dataflow模子 42
2.2.3 数据流图 43
2.2.4 流处理惩罚利用 45
2.2.5 窗口利用 46
2.3 Flink架构分析 49
2.3.1 Flink常见概念 49
2.3.2 Flink主从架构 51
2.3.3 任务和算子链 52
2.4 Flink中的几个语义——Streams、State、Time、API 53
2.4.1 Streams流 53
2.4.2 State状态 54
2.4.3 Time时间 55
2.4.4 API接口 55
2.5 Flink组件 56
2.6 本章小结 57
第3章 时间和窗口 58
3.1 时间 58
3.1.1 Flink中的时间 58
3.1.2 时间的特性 60
3.2 Timestamp和Watermark 61
3.2.1 在SourceFunction中天生 61
3.2.2 在assignTimestampsAndWatermarks中天生 64
3.2.3 Watermarks传播机制 83
3.3 EventTime+Watermark办理乱序数据 95
3.3.1 无迟到的乱序数据 96
3.3.2 有迟到的乱序数据 104
3.4 WindowAssigner、Evictor以及Trigger 109
3.4.1 WindowAssigner 111
3.4.2 Trigger 116
3.4.3 Evictor 122
3.5 Window内部实现 126
3.5.1 Flink Window源码分析 126
3.5.2 Flink Window实验过程 130
3.6 Window利用 131
3.6.1 Time Window 131
3.6.2 Count Window 135
3.6.3 Session Window 138
3.6.4 自界说Window 140
3.7 Window聚合分类 144
3.7.1 增量聚合 144
3.7.2 全量聚合 146
3.8 本章小结 149
第4章 状态管理及容错机制 150
4.1 什么是状态 150
4.2 什么场景会用到状态 150
4.3 状态的范例与利用 151
4.3.1 Keyed State托管状态 152
4.3.2 Operator State托管状态 159
4.4 Checkpoint机制 162
4.4.1 Checkpoint设置 163
4.4.2 State Backends状态后端 164
4.4.3 重启战略 165
4.5 SavePoint机制 169
4.6 本章小结 169
第5章 数据范例与序列化 170
5.1 Flink的数据范例 170
5.1.1 元组范例 171
5.1.2 Java POJOs范例 172
5.1.3 Scala样例类 173
5.1.4 根本范例 174
5.1.5 寻常类 175
5.1.6 值范例 177
5.1.7 特别范例 177
5.2 序列化原理 178
5.3 Flink的序列化过程 181
5.4 序列化的最佳实践 186
5.5 本章小结 186
第6章 DataStream API和DataSet API 187
6.1 DataStream API 187
6.1.1 DataSources数据输入 187
6.1.2 DataSteam转换利用 195
6.1.3 DataSinks数据输出 214
6.2 DataSet API 222
6.2.1 DataSources数据输入 223
6.2.2 DataSet转换利用 227
6.2.3 DataSinks数据输出 235
6.3 迭代盘算 238
6.3.1 全量迭代 239
6.3.2 增量迭代 240
6.4 广播变量与分布式缓存 244
6.4.1 广播变量 244
6.4.2 分布式缓存 246
6.5 语义注解 248
6.5.1 Forwarded Fileds注解 248
6.5.2 Non-Forwarded Fileds注解 249
6.5.3 Read Fields注解 250
6.6 本章小结 251
第7章 Table API和SQL 252
7.1 TableEnviroment 252
7.1.1 开辟环境构建 253
7.1.2 TableEnvironment根本利用 254
7.1.3 外部毗连器 257
7.1.4 时间概念 261
7.1.5 Temporal Tables时态表 263
7.2 WordCount 267
7.3 Table API的利用 268
7.3.1 获取Table 268
7.3.2 输出Table 272
7.3.3 查询Table 275
7.3.4 聚合利用 277
7.3.5 多表关联 278
7.3.6 聚集利用 279
7.3.7 排序利用 281
7.4 DataStream、DataSet和Table之间的转换 282
7.4.1 DataStream to Table 283
7.4.2 DataSet to Table 284
7.4.3 Table to DataStream 285
7.4.4 Table to DataSet 287
7.5 window aggregate与non-window aggregate 288
7.6 Flink SQL利用 297
7.6.1 利用SQL CLI客户端 298
7.6.2 在流上运行SQL查询 299
7.6.3 Group Windows窗口利用 300
7.6.4 多表关联 306
7.6.5 聚集利用 307
7.6.6 去重利用 308
7.6.7 Top-N利用 310
7.6.8 数据写入 311
7.7 自界说函数 313
7.7.1 Scalar Function 313
7.7.2 Table Function 315
7.7.3 Aggregation Function 317
7.8 本章小结 319
第8章 并行 320
8.1 Flink并行度 320
8.2 TaskManager和Slot 321
8.3 并行度的设置 322
8.3.1 实验环境层面 322
8.3.2 利用算子层面 323
8.3.3 客户端层面 324
8.3.4 体系层面 324
8.3.5 最大并行度 324
8.4 并行度案例分析 325
8.5 本章小结 329
第9章 Flink摆设与应用 330
9.1 Flink集群摆设 330
9.1.1 Standalone Cluster摆设 330
9.1.2 Yarn Cluster摆设 333
9.1.3 Kubernetes Cluster摆设 334
9.2 Flink高可用设置 340
9.2.1 Standalone集群高可用设置 340
9.2.2 Yarn Session集群高可用设置 341
9.3 Flink安全管理 341
9.3.1 认证目标 341
9.3.2 认证设置 342
9.3.3 SSL设置 343
9.4 Flink集群升级 344
9.4.1 任务重启 344
9.4.2 状态维护 344
9.4.3 版本升级 344
9.5 本章小结 345
第10章 Flink项目实战 346
10.1 及时数据洗濯(及时ETL) 346
10.1.1 需求分析 346
10.1.2 项目架构筹划 346
10.1.3 项目代码实现 347
10.2 及时数据报表 357
10.2.1 需求分析 357
10.2.2 项目架构筹划 357
10.2.3 项目代码实现 357
10.3 本章小结 362
三、正版购买
有爱好的朋侪可从前去检察。 tmall搜索关键词:
✨ Flink入门与实战,Flink ✨
🛒 链接直达:https://detail.tmall.com/item.htm?spm=a1z10.1-b.w9858442-8055933095.4.fH3HiL&id=651841634753
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!qidao123.com:ToB企服之家,中国第一个企服评测及软件市场,开放入驻,技术点评得现金 |