新年快乐—数睿通2.0数据中台全新功能模块发布
引言离上次发文已经有接近三个月了，这三个月主要在开发数睿通的数据生产模块，同时优化了一下数据集成，目前已经根本开发完毕了，集成了 Flink，Hadoop，可以在线开发 FlinkSql 作业使命，同时支持 Sql 使命开发，使平台初步具备了拉数，造数的能力，正值新年，在这里给大家拜年了，祝大家新年快乐！
平台停止到现在的功能都是我一个人开发的，包括前后台，测试等，其他小伙伴年底了工作都忙，顾不上。不得不说，一个人做起来没有那么简单，因为我是后端出身，所从前端做的比较吃力，不过现在也渐渐适应了，平台前端使用的是 VUE3，后台使用的是 SpringCloud Alibaba，都是当前比较流行的技能架构，关于平台的详细使用，我会录一个视频讲解，下面我们来一起看下平台目前所具备的功能模块吧。
数据集成
数据库管理
数据库管理模块可以本身新增和管理数据源，目前支持的数据源多达十几种，主要是常用的关系型数据库，日后思量扩展 NoSql 数据库：
https://img-blog.csdnimg.cn/6ade9d86f7334e87a3c3fb3ba81aeb62.png
https://img-blog.csdnimg.cn/8b81dbf7fbc744fa8297f337e2786d3e.png
文件管理
文件管理模块可以上传下载文件：
https://img-blog.csdnimg.cn/28a86175b46f452eafcf033217dd919b.png
数据接入
数据接入模块可以自界说 ETL 使命，支持表名和字段映射，同步数据源数据到指定命据库或中台库，支持调治执行：
https://img-blog.csdnimg.cn/e655f7c7f21740c9b1c42fbd7603b11e.png
https://img-blog.csdnimg.cn/3ab593c8aad74e8da834ae7f0e740d17.png
https://img-blog.csdnimg.cn/4cc6ff9493ed4e35ad0d2d35181845e5.png
https://img-blog.csdnimg.cn/4c371e6358184eb4a9297f606f2cb493.png
贴源数据
贴源数据可以检察通过数据接入同步的数据表，数据以及接入日记
https://img-blog.csdnimg.cn/08ff19c203f3417dae24bc6d98ad5ff2.png
数据开发
数据生产
数据生产模块可以进行 Sql 和 FlinkSql 的代码化开发，支持接洽上下文的 sql 校验，而且全面接管 FlinkSql 的历史使命，日记监控等，让 FlinkSql 开发纵享丝滑。
sql 作业开发
sql 作业开发可以自行编写 sql 语句，数据源可以选择本身维护的数据源大概中台库。
https://img-blog.csdnimg.cn/ba9a66fd0e024778aa86450189dbc793.png
https://img-blog.csdnimg.cn/d692f5073e634672be274d5d35840163.png
FlinkSql 作业开发
FlinkSql 作业支持 sql-client 所具备的全部功能，同时加强了语法，可以使用 := 来界说全局变量，通过 ADD JAR 添加当地 jar 包，防止依赖包过多导致依赖辩论，支持 local（当地），standalone（flink实例集群），yarn-session，yarn-per-job 和 yarn-application 模式执行 job 使命。
若想要实时同步数据，可以使用 flink-cdc 来进行数据的实时同步操作，FlinkSql 作业开发会在视频中详细讲解。
https://img-blog.csdnimg.cn/764682664faa4b678a4cfe57c0a402c5.pnghttps://img-blog.csdnimg.cn/bd0cbcc0fc244d5dbb15279aa28f42e8.png
https://img-blog.csdnimg.cn/058695aaec16495f96bc2f4f4a131606.png
调治中心
调治中心可以对作业使命进行拖拽流程计划，同时支持设置节点权重，支持定时执行流程，流程图中可以根据现实业务结合 Sql 和 FlinkSql 作业，更加灵活的操作处置惩罚数据。
https://img-blog.csdnimg.cn/ec276e904d324621a49e246d09c368fc.png
https://img-blog.csdnimg.cn/50a85df1ea414606a0b2dc579d6d354a.png
调治记录可以检察调治日记，可以检察总体和每个节点的执行情况。
https://img-blog.csdnimg.cn/dddb54c41b064aed83b55a8a9ad1e6e6.png
运维中心
运维中心可以检察作业的执行记录，假如是 FlinkSql 作业，会实时更新 FlinkSql 实例的状态，而且支持对作业进行 savepoint，实现断点续传，检察执行效果，错误日记等。
https://img-blog.csdnimg.cn/f0cce333507745039a1664e381f8f598.png
https://img-blog.csdnimg.cn/a99deed7e4ac4c509a4e6a7c69d84286.png
资源中心
资源中心主要用于管理 Flink 实例 和 Hadoop 集群，平台本身不依赖 Flink 或 Hadoop 就可以正常启动，但假如要运行 FlinkSql 使命，则需要配置 Flink 集群，Yarn 模式下则需要配置 Hadoop 集群。
https://img-blog.csdnimg.cn/36da85f68b284cc993211923ce241e60.png
https://img-blog.csdnimg.cn/762735118e66436fb55755cccd4ef05e.png
配置中心
配置中心主要用于配置 FlinkSql 执行所需的参数，视频中会讲解，在此不做赘述。
其他模块
其他模块就不再逐一先容了，这两个多月主要是完成了数据集成和数据生产两个大的模块，同时也实现了多租户管理，不同的租户之间实现了数据隔离，互不影响。
结语
本次中台的新功能先容就到此竣事了，现在平台更像一个数据开发平台，这也是数据中台的一个重要组成部门，其实数据中台主要是三个核心：数据集成抽取数据，数据开发加工数据，数据服务提供数据，除此之外，用户可以根据自身需求，自行扩展功能模块，结合业务，冲破数据壁垒，实现数据赋能，让数据产生价值。
想要了解更多的朋侪请关注公众号 螺旋编程极客 发送 数据中台咨询 获取 最新源码，快速摆设指南，摆设包，使用讲解视频，源码讲解视频 等，平台在不停更新，不停美满之中，感谢您的支持与关注。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]