ToB企服应用市场:ToB评测及商务社交产业平台

标题: Flink-cdc更好的流式数据集成工具 [打印本页]

---

作者: 一给    时间: 2024-10-31 07:23
标题: Flink-cdc更好的流式数据集成工具
What’s Flink-cdc?

Flink CDC 是基于Apache Flink的一种数据变更捕获技能，用于从数据源（如数据库）中捕获和处理数据的变更事件。CDC技能答应实时地捕获数据库中的增、删、改操纵，将这些变更事件转化为流式数据，并可以或许对这些事件进行实时处理和分析。
Flink CDC提供了与各种数据源集成的功能，包罗常见的关系型数据库（如MySQL、PostgreSQL、Oracle等）以及NoSQL数据库（如MongoDB、HBase等）。它通过监控数据库的日记或轮询方式来捕获数据变更，并将变更事件作为数据流发送到Flink的使掷中进行处理。
Flink CDC 深度集成并由 Apache Flink 驱动，提供以下核心功能：
✅ 端到端的数据集成框架
✅ 为数据集成的用户提供了易于构建作业的 API
✅ 支持在 Source 和 Sink 中处理多个表
✅ 整库同步
✅具备表结构变更自动同步的能力（Schema Evolution）
在使用者的角度，就是Flink-cdc可以简化流处理的流程:

• 引入Flink-cdc之前流处理流程
  
  
  
  
• 引入Flink-cdc之后后流处理流程
  
  
  
  

如上所示，在flink-cdc被引入后大大简化了流处理流程
Flink-cdc支持的链接及对应的版本

Pipeline Connectors

（截止2024-08-12）
Source Connectors

（截止2024-08-12）
Flink-cdc与Flink对应对影版本的关系

（截止2024-08-12）
flink-connector-mysql-cdc 实例分析

示例代码

demo代码：

1. import com.ververica.cdc.connectors.mysql.source.MySqlSource;
2. import com.ververica.cdc.connectors.mysql.table.StartupOptions;
3. import com.ververica.cdc.debezium.JsonDebeziumDeserializationSchema;
4. import org.apache.flink.api.common.eventtime.WatermarkStrategy;
5. import org.apache.flink.runtime.state.hashmap.HashMapStateBackend;
6. import org.apache.flink.streaming.api.environment.CheckpointConfig;
7. import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
9. public class MySqlSourceDemo {
11.     public static void main(String[] args) throws Exception {
12.         MySqlSource<String> mySqlSource = MySqlSource.<String>builder()
13.                 .hostname("mysql-server-host")
14.                 .port(3306)
15.                 .databaseList("mydb") // 设置捕获的数据库
16.                 .tableList("mydb.products") // 设置捕获的表,如果需要同步整个数据库，请将 tableList 设置为 ".*".
17. //                .tableList(".*") // 捕获整个数据库的表
18. //                .tableList("^(?!mysql|information_schema|performance_schema).*") // 设置捕获的表，排除系统库
19. //                .tableList("mydb.(?!products|orders).*") // 同步排除products和orders表之外的整个my_db库
20.                 .username("flink-cdc")
21.                 .password("xxx")
22.                 .serverId("5400-5405")
23.                 .deserializer(new JsonDebeziumDeserializationSchema()) // 将 SourceRecord 转换为 JSON 字符串
24.                 .serverTimeZone("Asia/Shanghai") // 设置时区
25.                 .startupOptions(StartupOptions.initial())
26.                 .scanNewlyAddedTableEnabled(true) // 启用扫描新添加的表功能
27. //                .includeSchemaChanges(true) // 包括 schema 变更
28.                 .build();
30.         org.apache.flink.configuration.Configuration config = new org.apache.flink.configuration.Configuration();
31.         config.setString("rest.port", "8081");
32. //        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment(config); //本地环境，调试用
33.         StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
34.         // 设置 3s 的 checkpoint 间隔
35.         env.enableCheckpointing(3000);
36.         env.setStateBackend(new HashMapStateBackend());
37.         env.getCheckpointConfig().setCheckpointStorage("file:///tmp/ck");//本地文件系统
38. //        env.getCheckpointConfig().setExternalizedCheckpointCleanup(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION); 1.14.0 版本开始支持
39.         env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
41.         env.fromSource(mySqlSource, WatermarkStrategy.noWatermarks(), "MySQL Source")
42.                 // 设置 source 节点的并行度为 4
43.                 .setParallelism(5)
44.                 .print()
45.                 .setParallelism(1); // 设置 sink 节点并行度为 1
47.         env.execute("Print MySQL Snapshot + Binlog");
48.     }
49. }

复制代码

maven依靠：

1. <properties>
2.         <maven.compiler.source>8</maven.compiler.source>
3.         <maven.compiler.target>8</maven.compiler.target>
4.         <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
5.         <flink.version>1.14.5</flink.version>
6.         <scala.binary.version>2.12</scala.binary.version>
7.     </properties>
9.     <dependencies>
10.         <dependency>
11.             <groupId>junit</groupId>
12.             <artifactId>junit</artifactId>
13.             <scope>test</scope>
14.         </dependency>
16.         <!-- 将 Apache Flink 的 Web 运行时模块添加到项目中 -->
17.         <dependency>
18.             <groupId>org.apache.flink</groupId>
19.             <artifactId>flink-runtime-web_${scala.binary.version}</artifactId>
20.             <version>${flink.version}</version>
21.             <scope>provided</scope>
22.         </dependency>
24.         <dependency>
25.             <groupId>org.apache.flink</groupId>
26.             <artifactId>flink-clients_${scala.binary.version}</artifactId>
27.             <version>${flink.version}</version>
28.             <scope>provided</scope> <!--provided生命周期在test模式才可以运行，在main模式会找不到包-->
29.         </dependency>
31.         <dependency>
32.             <groupId>com.ververica</groupId>
33.             <artifactId>flink-connector-mysql-cdc</artifactId>
34.             <version>2.3.0</version>
35.             <scope>compile</scope>
36.         </dependency>
38.         <dependency>
39.             <groupId>org.apache.flink</groupId>
40.             <artifactId>flink-table-common</artifactId>
41.             <version>${flink.version}</version>
42.             <scope>compile</scope>
43.         </dependency>
45.         <dependency>
46.             <groupId>org.slf4j</groupId>
47.             <artifactId>slf4j-log4j12</artifactId>
48.             <version>1.7.25</version>
49.             <scope>provided</scope>
50.         </dependency>
52.     </dependencies>

复制代码

日记设置文件：
log4j.properties

1. log4j.rootCategory=error,stdout
2. log4j.appender.stdout=org.apache.log4j.ConsoleAppender
3. log4j.appender.stdout.target=System.out
4. log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
5. log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %p %c{1}:%L - %m%n

复制代码

启动standalone Flink级群

1. # jobmanager
2. docker run -d \
3. --name flink-jm \
4. --hostname flink-jm \
5. -p 8082:8081 \
6. --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jm" \
7. --network flink-network-standalone \
8. ponylee/flink:1.15.0-java8  \
9. jobmanager
12. # taskmanager
13. docker run -d \
14. --name flink-tm \
15. --hostname flink-tm \
16. --env FLINK_PROPERTIES="jobmanager.rpc.address: flink-jm" \
17. --network flink-network-standalone \
18. ponylee/flink:1.15.0-java8 \
19. taskmanager \
20. -Dtaskmanager.memory.process.size=1024m \
21. -Dtaskmanager.numberOfTaskSlots=5 \
22. -Drest.flamegraph.enabled=true

复制代码

分析阐明

为每个 Reader 设置差别的 Server id

每个用于读取 binlog 的 MySQL 数据库客户端都应该有一个唯一的 id，称为 Server id。 MySQL 服务器将使用此 id 来维护网络毗连和 binlog 位置。 因此，假如差别的作业共享雷同的 Server id， 则可能导致从错误的 binlog 位置读取数据。 因此，建议通过为每个 Reader 设置差别的 Server id , 假设 Source 并行度为 4，server id 设置必须：serverId(“5400-5405”)，5405-5400=5 >= 4。来为 4 个 Source readers 中的每一个分配唯一的 Server id。
查看mysql链接发现
select * from information_schema.processlist where user = ‘flink-cdc’;

Flink-cdc对mysql的影响
正常情况下，Flink-cdc是No-lock Read，主库可以继续处理事务和查询，而不会导致主库历程阻塞，不会对主库产生直接影响。但是，在某些情况下数据同步的过程中可能会对主库产生一些间接影响，好比：网络、IO、CPU负载以及mysql的并发毗连数等资源斲丧。但这些对主库的开销影响相对较小（全量同步阶段可能比较耗能，但时间相对比较短）。

从上图mysql资源使用情况来看，flink-cdc对内存和CPU负载影响微乎极微，是No-lock Read，重要体现对网络和IO的资源斲丧。
断点续传

通过从checkpoint/savepoint 恢复，flink-cdc可以保证断点续传。

• 从checkpoint/savepoint恢复，缩小同步范围，例如：从tableList(“mydb.products,mydb.orders”)或tableList(“.*”) 缩小到 tableList(“mydb.products”)，应用更新见效。
  
• 应用从checkpoint/savepoint恢复，扩大同步范围的部分不会见效，例如：从tableList(“mydb.products”) 到 tableList(“mydb.products,mydb.orders”)或tableList(“.*”)，应用更新不见效见效。若想使动态加表见效，可以显示订定scanNewlyAddedTableEnabled(true) ，来启用扫描新添加的表功能。如没有特殊情况，建议在开发环境开启此设置。
  

flink-cdc包名变更

Flink CDC 项目 从 2.0.0 版本将 group id 从com.alibaba.ververica 改成 com.ververica, 自 3.1 版本从将 group id 从 com.ververica 改成 org.apache.flink。 这是为了让项目更加社区中立，让各个公司的开发者共建时更方便。所以在maven仓库找 2.x 的包时，路径是 /com/ververica；找3.1及以上版本的包时，路径是/org/apache/flink
参考：
flink-cdc
flink-cdc docs

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4