11、Flink配置flink-conf.yaml详细说明（HA配置、checkpoint、web、安全、z ...

Flink 系列文章

一、Flink 专栏
Flink
专栏系统介绍某一知识点，并辅以具体的示例进行说明。

• 1、Flink 摆设系列
  本部分介绍Flink的摆设、配置相关基础内容。
  
• 2、Flink基础系列
  本部分介绍Flink 的基础部分，好比术语、架构、编程模子、编程指南、基本的datastream api用法、四大基石等内容。
  
• 3、Flik Table API和SQL基础系列
  本部分介绍Flink Table Api和SQL的基本用法，好比Table API和SQL创建库、表用法、查询、窗口函数、catalog等等内容。
  
• 4、Flik Table API和SQL提高与应用系列
  本部分是table api 和sql的应用部分，和实际的生产应用联系更为密切，以及有肯定开发难度的内容。
  
• 5、Flink 监控系列
  本部分和实际的运维、监控工作相关。
  

二、Flink 示例专栏
Flink 示例专栏是
Flink 专栏的辅助说明，一般不会介绍知识点的信息，更多的是提供一个一个可以具体使用的示例。本专栏不再分目录，通过链接即可看出介绍的内容。
两专栏的所有文章入口点击：Flink
系列文章汇总索引

---

文章目录

• Flink 系列文章
  
• 一、目录结构说明
  
• 二、基础配置
  
• 三、高可用性配置
  
• 四、容错和检查点 配置
  
• 五、web 前端配置
  
• 六、高级配置
  
• 七、Flink 集群安全配置
  
• 八、Zookeeper 安全配置
  
• 九、HistoryServer
  
• 十、查看下别的两个配置 workers / master
  
• 1. * 1、workers

  复制代码
  
  
  • 2、masters
    
  
  
• 十一、zoo.cfg
  
• 十二、日记配置
  
• 十三、sql-client-defaults.yaml
  

---

本文简单的介绍了flink的配置文件内容及配置项说明。
一、目录结构说明

安装完成后的目录结构如下：

conf文件夹下的文件目录

安装目录下重要有 flink-conf.yaml 配置、日记的配置文件、zk 配置、Flink SQL Client 配置。
二、基础配置

1. # jobManager 的IP地址
2. jobmanager.rpc.address: localhost
3. # JobManager 的端口号
4. jobmanager.rpc.port: 6123
5. # JobManager JVM heap 内存大小
6. jobmanager.heap.size: 1024m
7. # TaskManager JVM heap 内存大小
8. taskmanager.heap.size: 1024m
9. # 每个 TaskManager 提供的任务 slots 数量大小
10. taskmanager.numberOfTaskSlots: 1
11. # 程序默认并行计算的个数
12. parallelism.default: 1
13. # 文件系统来源
14. # fs.default-scheme

复制代码

三、高可用性配置

1. # 可以选择 'NONE' 或者 'zookeeper'.
2. # high-availability: zookeeper
3. # 文件系统路径，让 Flink 在高可用性设置中持久保存元数据
4. # high-availability.storageDir: hdfs:///flink/ha/
5. # zookeeper 集群中仲裁者的机器 ip 和 port 端口号
6. # high-availability.zookeeper.quorum: localhost:2181
7. # 默认是 open，如果 zookeeper security 启用了该值会更改成 creator
8. # high-availability.zookeeper.client.acl: open

复制代码

四、容错和检查点 配置

1. # 用于存储和检查点状态
2. # state.backend: filesystem
3. # 存储检查点的数据文件和元数据的默认目录
4. # state.checkpoints.dir: hdfs://namenode-host:port
5. /flink-checkpoints
6. # savepoints 的默认目标目录(可选)
7. # state.savepoints.dir: hdfs://namenode-host:port
8. /flink-checkpoints
9. # 用于启用/禁用增量 checkpoints 的标志
10. # state.backend.incremental: false

复制代码

五、web 前端配置

1. # 基于 Web 的运行时监视器侦听的地址.
2. #jobmanager.web.address: 0.0.0.0
3. #  Web 的运行时监视器端口
4. rest.port: 8081
5. # 是否从基于 Web 的 jobmanager 启用作业提交
6. # jobmanager.web.submit.enable: false

复制代码

六、高级配置

1. # io.tmp.dirs: /tmp
2. # 是否应在 TaskManager 启动时预先分配 TaskManager 管理的内存
3. # taskmanager.memory.preallocate: false
4. # 类加载解析顺序，是先检查用户代码 jar（“child-first”）还是应用程序类路径（“parent-first”）。 默认设置指示首先从用户代码 jar 加载类
5. # classloader.resolve-order: child-first
6. # 用于网络缓冲区的 JVM 内存的分数。 这决定了 TaskManager 可以同时拥有多少流数据交换通道以及通道缓冲的程度。 如果作业被拒绝或者您收到系统没有足够缓冲区的警告，请增加此值或下面的最小/最大值。 另请注意，“taskmanager.network.memory.min”和“taskmanager.network.memory.max”可能会覆盖此分数
7. # taskmanager.network.memory.fraction: 0.1
8. # taskmanager.network.memory.min: 67108864
9. # taskmanager.network.memory.max: 1073741824

复制代码

七、Flink 集群安全配置

1. # 指示是否从 Kerberos ticket 缓存中读取
2. # security.kerberos.login.use-ticket-cache: true
3. # 包含用户凭据的 Kerberos 密钥表文件的绝对路径
4. # security.kerberos.login.keytab: /path/to/kerberos/keytab
5. # 与 keytab 关联的 Kerberos 主体名称
6. # security.kerberos.login.principal: flink-user
7. # 以逗号分隔的登录上下文列表，用于提供 Kerberos 凭据（例如，`Client，KafkaClient`使用凭证进行 ZooKeeper 身份验证和 Kafka 身份验证）
8. # security.kerberos.login.contexts: Client,KafkaClient

复制代码

八、Zookeeper 安全配置

1. # 覆盖以下配置以提供自定义 ZK 服务名称
2. # zookeeper.sasl.service-name: zookeeper
3. # 该配置必须匹配 "security.kerberos.login.contexts" 中的列表（含有一个）
4. # zookeeper.sasl.login-context-name: Client

复制代码

九、HistoryServer

1. # 你可以通过 bin/historyserver.sh (start|stop) 命令启动和关闭 HistoryServer
2. # 将已完成的作业上传到的目录
3. # jobmanager.archive.fs.dir: hdfs:///completed-jobs/
4. # 基于 Web 的 HistoryServer 的地址
5. # historyserver.web.address: 0.0.0.0
6. # 基于 Web 的 HistoryServer 的端口号
7. # historyserver.web.port: 8082
8. # 以逗号分隔的目录列表，用于监视已完成的作业
9. # historyserver.archive.fs.dir: hdfs:///completed-jobs/
10. # 刷新受监控目录的时间间隔（以毫秒为单位）
11. # historyserver.archive.fs.refresh-interval: 10000

复制代码

十、查看下别的两个配置 workers / master

1、workers

里面是每个 worker 节点的 IP/Hostname，每一个 worker 节点之后都会运行一个 TaskManager，一个一行。
2、masters

1. host:port

复制代码

十一、zoo.cfg

1. # 每个 tick 的毫秒数
2. tickTime=2000
3. # 初始同步阶段可以采用的 tick 数
4. initLimit=10
5. # 在发送请求和获取确认之间可以传递的 tick 数
6. syncLimit=5
7. # 存储快照的目录
8. # dataDir=/tmp/zookeeper
9. # 客户端将连接的端口
10. clientPort=2181
11. # ZooKeeper quorum peers
12. server.1=localhost:2888:3888
13. # server.2=host:peer-port:leader-port

复制代码

十二、日记配置

1. log4j-cli.properties
2. log4j-console.properties
3. log4j-yarn-session.properties
4. log4j.properties
5. logback-console.xml
6. logback-yarn.xml
7. logback.xml

复制代码

十三、sql-client-defaults.yaml

1. execution:
2.   # 'batch' or 'streaming' execution
3.   type: streaming
4.   # allow 'event-time' or only 'processing-time' in sources
5.   time-characteristic: event-time
6.   # interval in ms for emitting periodic watermarks
7.   periodic-watermarks-interval: 200
8.   # 'changelog' or 'table' presentation of results
9.   result-mode: changelog
10.   # parallelism of the program
11.   parallelism: 1
12.   # maximum parallelism
13.   max-parallelism: 128
14.   # minimum idle state retention in ms
15.   min-idle-state-retention: 0
16.   # maximum idle state retention in ms
17.   max-idle-state-retention: 0
18. deployment:
19.   # general cluster communication timeout in ms
20.   response-timeout: 5000
21.   # (optional) address from cluster to gateway
22.   gateway-address: ""
23.   # (optional) port from cluster to gateway
24.   gateway-port: 0

复制代码

以上，简单的介绍了flink的配置文件内容及配置项说明。
学习网络安全技能的方法无非三种:
第一种是报网络安全专业，现在叫网络空间安全专业，重要专业课程:程序设计、盘算机组成原理原理、数据结构、操作系统原理、数据库系统、 盘算机网络、人工智能、天然语言处理处罚、社会盘算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技能，信息检索、舆情分析等。
第二种是自学，就是在网上找资源、找教程，或者是想办法认识一-些大佬，抱紧大腿，不过这种方法很耗时间，而且学习没有规划，大概很长一段时间感觉自己没有进步，轻易劝退。
如果你对网络安全入门感兴趣，那么你必要的话可以点击这里