Flink SQL & DataStream 融合开发模式与动态设置热加载机制实战

一、为什么需要 SQL 与 DataStream 融合开发？

在实时数仓构建中，Flink SQL 的易用性和声明式优势广受接待；但碰到业务逻辑复杂、需要机动控制时，DataStream API 提供了不可替代的机动性。
而现实中，我们常常碰到如下痛点：
     场景    题目    解决方式              多业务线、多个 Kafka Topic，字段结构差别    Flink SQL 难以一套规则搞定所有    DataStream 控制更机动          盼望部分流程用 SQL 快速处理，部分自界说处理更复杂逻辑    Flink SQL + 自界说 UDF 不够直观    融合开发解决          盼望动态控制字段标准化规则 / 字典加载逻辑    静态代码设置难维护    动态设置 + 热加载机制   
因此，融合 SQL 与 DataStream，共同设置热加载机制，成为构建机动、高可维护的实时标准化处理框架的关键路径。
<hr> 二、融合开发整体架构图

  Flink SQL + Da

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告