ToB企服应用市场:ToB评测及商务社交产业平台

标题: Flink 中 JDBC Connector 使用详解 [打印本页]

---

作者: 梦应逍遥    时间: 2024-12-4 18:40
标题: Flink 中 JDBC Connector 使用详解
1. 配景

在实时盘算或离线任务中，往往需要与关系型数据库交互，例如 MySQL、PostgreSQL 等。Apache Flink 提供了 JDBC Connector，可以方便地将流式数据写入或读取数据库。
本文将先容 Flink JDBC Connector 的底子用法、设置方法以及注意事项，帮助开发者更好地集成数据库操纵。

---

2. JDBC Connector 的底子概念

JDBC Connector 是 Flink 官方提供的一个用于连接关系型数据库的工具包，支持：

• Source：从数据库读取数据。
  
• Sink：将数据写入数据库。
  

使用 JDBC Connector 可以实现对数据库的实时写入，也可以用作批量操纵的工具。

---

3. Maven 依赖

在项目中添加 Flink JDBC 依赖：

1. <dependency>
2.     <groupId>org.apache.flink</groupId>
3.     <artifactId>flink-connector-jdbc_2.12</artifactId>
4.     <version>1.17.0</version> <!-- 根据实际使用的 Flink 版本调整 -->
5. </dependency>

复制代码

如果使用 MySQL 数据库，还需添加 MySQL 驱动：

1. <dependency>
2.     <groupId>mysql</groupId>
3.     <artifactId>mysql-connector-java</artifactId>
4.     <version>8.0.33</version> <!-- MySQL 驱动版本 -->
5. </dependency>

复制代码

---

4. JDBC Connector 的使用

4.1 写入数据库（Sink）

以下是一个将流式数据写入 MySQL 的示例：

1. import org.apache.flink.api.common.typeinfo.Types;
2. import org.apache.flink.api.java.tuple.Tuple2;
3. import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
4. import org.apache.flink.connector.jdbc.JdbcSink;
6. public class JdbcSinkExample {
7.     public static void main(String[] args) throws Exception {
8.         StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
10.         // 模拟输入数据
11.         env.fromElements(
12.                 Tuple2.of(1, "Alice"),
13.                 Tuple2.of(2, "Bob"),
14.                 Tuple2.of(3, "Charlie")
15.         )
16.         .addSink(JdbcSink.sink(
17.                 "INSERT INTO users (id, name) VALUES (?, ?)", // SQL 语句
18.                 (ps, t) -> {
19.                     ps.setInt(1, t.f0);  // 设置第一个参数为 ID
20.                     ps.setString(2, t.f1);  // 设置第二个参数为 Name
21.                 },
22.                 JdbcSink.DefaultJdbcExecutionOptions.builder()
23.                         .withBatchSize(100) // 批量写入大小
24.                         .build(),
25.                 () -> JdbcSink.defaultJdbcConnectionProvider(
26.                         "jdbc:mysql://localhost:3306/testdb", // 数据库 URL
27.                         "root",  // 用户名
28.                         "password" // 密码
29.                 )
30.         ));
32.         env.execute("Flink JDBC Sink Example");
33.     }
34. }

复制代码

关键点解析

• SQL 语句：支持动态参数 ? 占位符，得当批量插入。
  
• 参数绑定：通过 Lambda 表达式绑定输入数据与 SQL 参数。
  
• 批量写入：通过 JdbcExecutionOptions 设置批量写入计谋。
  

---

4.2 从数据库读取数据（Source）

以下是一个从 MySQL 读取数据并打印的示例：

1. import org.apache.flink.api.java.tuple.Tuple2;
2. import org.apache.flink.connector.jdbc.JdbcInputFormat;
3. import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
4. import org.apache.flink.streaming.api.datastream.DataStream;
6. public class JdbcSourceExample {
7.     public static void main(String[] args) throws Exception {
8.         StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
10.         DataStream<Tuple2<Integer, String>> sourceStream = env.createInput(
11.             JdbcInputFormat.buildJdbcInputFormat()
12.                 .setDrivername("com.mysql.cj.jdbc.Driver") // JDBC 驱动
13.                 .setDBUrl("jdbc:mysql://localhost:3306/testdb") // 数据库 URL
14.                 .setUsername("root") // 用户名
15.                 .setPassword("password") // 密码
16.                 .setQuery("SELECT id, name FROM users") // SQL 查询
17.                 .setRowTypeInfo(Types.TUPLE(Types.INT, Types.STRING)) // 结果类型
18.                 .finish()
19.         );
21.         sourceStream.print();
23.         env.execute("Flink JDBC Source Example");
24.     }
25. }

复制代码

关键点解析

• SQL 查询：需要提供完整的查询语句。
  
• 效果类型：通过 RowTypeInfo 显式定义数据库返回的数据结构。
  

---

5. JDBC Connector 的设置选项

5.1 批量写入设置

通过 JdbcExecutionOptions 可调整写入计谋：

• withBatchSize(int)：设置批量写入巨细（默以为 500）。
  
• withBatchIntervalMs(long)：设置批量写入的时间间隔。
  
• withMaxRetries(int)：设置写入失败后的最大重试次数。
  

5.2 数据库连接池

Flink JDBC Connector 默认使用单个连接执行操纵。对于高并发需求，可以结合 HikariCP 等连接池框架优化性能。

---

6. 注意事项

• 事务支持：
  
  
  
  • 默认情况下，JDBC Sink 使用批量提交，未显式开启事务。如果需要事务一致性，可以通过 JDBC 驱动自行管理事务。
    
  
  
• 数据库性能瓶颈：
  
  
  
  • 数据库大概成为瓶颈，建议使用批量写入和符合的索引优化性能。
    
  • 高写入场景可考虑切换到 Kafka、HBase 等专为实时写入设计的存储系统。
    
  
  
• 错误处理：
  
  
  
  • 可通过 withMaxRetries 设置重试次数。
    
  • 对于未能成功写入的数据，可考虑使用侧输出流生存以供后续处理。
    
  
  
• 分布式读取：
  
  
  
  • 默认情况下，Flink JDBC Source 在单线程上运行，性能大概有限。可以使用分片或其他工具提升读取性能。
    
  
  

---

7. 总结

Flink JDBC Connector 是一个简单而高效的工具，适用于实时盘算场景下与关系型数据库的交互。无论是数据写入照旧读取，都可以通过简单设置快速实现。但对于高并发和大规模数据场景，需要根据业务需求调整计谋。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4