实时开发平台建设实践，深入释放实时数据价值丨04期直播回顾
原文链接：实时开发平台建设实践，深入释放实时数据价值视频回顾：点击这里
课件获取：点击这里
一、实时数仓建设背景
随着整体行业的数字化转型不断深入以及技术能力的不断提高，传统的 T+1 式（隔日）的离线大数据模式越来越无法满足新兴业务的发展需求，开展实时化的大数据业务，是企业深入挖掘数据价值的一条必经之路。
面对数字化转型下的数据快速产生、“小步快跑”的精细化运营及实时化和自动化的决策需求，如何提高实时数据处理能力将成为企业提升竞争力的一大因素。
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112454903-541558228.png
而企业在建设实时数据应用时，又往往面临诸多困难：
[*]实时开发技术门槛高，学习难度大，开发过程依赖各种引擎，链路复杂
[*]开发数据效率低，代码调试复杂
[*]建设成本、使用成本高
[*]数据建模及开发规范不统一，问题难监控，管理困难
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112455232-2050958981.png
为了解决这些问题，我们在实时建设过程中需要确定建设方式和建设目标，帮助企业更好的实现实时数仓建设。
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112455534-440976554.png
二、实时数仓建设方法论
如何帮助企业建设实时数仓，我们主要从以下四个步骤入手：
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112455788-508022005.png
1、明确需求
企业进行实时数仓建设的第一步是明确需求，需求需要业务需求和技术需求想结合。
1）业务需求方面：
[*]详细梳理各类实时计算应用场景
[*]详细梳理每个实时指标的具体需求
2）技术需求方面：
[*]详细梳理每个实时指标的数据来源信息
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112456036-1451309986.png
2、技术选型
第二步技术选型阶段，技术选型包括四个方面的选型：
a、整体技术路线
b、采集工具
c、消息中间件+计算引擎及
d、维表、结果表的存储数据库
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112456287-1370546118.png
3、数仓设计与开发
第三步是数仓设计与开发，包含一下三个方面：
a、实时数仓分层设计
b、开发规范
c、代码开发与调试
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112456519-231670441.png
4、管理与监控
第四步是管理与监控，可以从任务发布、运行监控与告警、实时数据治理这3个部分入手。
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112457731-264148834.png
三、基于数栈实时开发平台建设实时数仓
分享完实时数仓的建设方法论，接下来来为大家分享实时数仓的建设流程。
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112458017-1057926039.png
第一步：实时采集
基于Chunjun（原FlinkX）对数据库进行CDC采集，实现采集工具化，可对主流数据源进行CDC(日志数据)和通过JDBC（间隔轮询）两种实时采集方式。
1、CDC读取
读取数据库日志的方式，对源库无压力
2、JDBC读取
面向不开放数据库日志的场景，通过高频率的JDBC轮询读取数据，要求有自增字段
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112458312-705000731.png
第二步：数据开发
1、数据开发基础功能
现在展示的是数据开发的一些基础功能，包括：WEB SQL IDE、可视化建表、维表缓存策略及系统&自定义函数，丰富的底层组件封装，界面化操作，降低开发门槛，使开发人员专注于业务逻辑处理。
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112458569-1615590642.png
2、数据开发高阶功能
除了数据开发的基础功能之外，还有面向特定行业或场景的高阶配置，包括自动重试、自动启停、脏数据管理。
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112458839-1524624713.png
第三步：发布上线
开发完毕之后就是任务的发布上线，发布上线包括任务调试和任务导入导出两个方面。
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112459165-1385226447.png
第四步：任务运维
任务运维就是全局掌控任务的运行，对于一些异常或紧急情况进行处理的过程。
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112459400-1988908434.png
上述的实时数仓建设过程，其实正是袋鼠云自研的数栈实时开发StreamWorks产品的落地实践过程。
云原生一站式大数实时开发平台（StreamWorks），面向实时数仓构建的云原生一站式大数据实时开发平台，实现从实时数据采集、实时数据处理、任务监控运维的全链路覆盖。支持Flink多版本引擎、Kubernetes资源调度，提供丰富的运维监控曲线，助力企业实时化转型。
图片
同时产品具备以下特点:
[*]采集+计算+运维一体化
内含实时开发全链路工具，采集、计算、运维一体，降低客户使用成本，降低实时计算门槛。
[*]统一元数据管理
支持输出自研Hadoop集群，同时可对接CDH、HDP、TDH等多集群及Oracle、TiDB等多引擎；节点资源可根据计算存储需求快速弹性伸缩，业务需求稳定响应。
[*]批流一体
支持Flink批流一体式采集+开发， 集成Iceberg，赋能一体式湖仓建设模式。
[*]功能丰富
平台提供任务跨环境发布、代码调试、SQL校验、提交检查、自动启停、批量连接现存任务等丰富功能
[*]云原生支持
在支持YARN+HDFS的基础上，同时支持Kubernetes资源调度、MinIO、OSS等对象存储
同时产品具备3大价值：
[*]降低开发门槛
兼容了多版本引擎、适配多种数据源，封装集成为可视化操作界面。基于Web IDE，图像化配置表信息并使用SQL语言进行开发，降低整体上手门槛
[*]全面运维保障
提供任务全生命周期的可视化运维。全链路拓扑、丰富Metirc曲线展示、多方式多渠道任务告警，帮助用户搭建全面运维体系，提高运维保障。
[*]促进数据规范
协助企业构建实时数仓，建设实时数据标准及规范。搭建一套实时任务调度、任务运行监控及实时任务可靠恢复机制于一体的实时数据平台，保障数据质量，提供统一标准的数据出口。
四、实时数仓建设案例
接下来我们分享两个使用客户的实际案例，为大家介绍实时开发平台如何切实的帮助客户解决问题。
[*]某国有专业经济信息服务机构
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112459790-366714251.png
[*]某证券客户
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112500102-2074901017.png
五、数栈批流一体架构解析
最后我们为大家介绍一段拓展资料，关于数栈批流一体架构的解析。
[*]批流一体整体架构
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112500415-1098101634.png
[*]批流一体核心价值
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112500723-1939230306.png
[*]批流一体数据建设链路
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112501018-1342464788.png
[*]批流一体采集技术架构
https://img2022.cnblogs.com/other/2317299/202206/2317299-20220615112501473-1734087182.png
原文来源：VX公众号“数栈研习社”
袋鼠云开源框架钉钉技术交流群（30537511），欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息，开源项目库地址：https://github.com/DTStack
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]