论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
ToB企服应用市场:ToB评测及商务社交产业平台
»
论坛
›
物联网
›
物联网
›
案例分享: 数据资产管理平台集成SQLFlow数据血缘分析工 ...
案例分享: 数据资产管理平台集成SQLFlow数据血缘分析工具 ...
民工心事
金牌会员
|
2024-7-10 19:29:25
|
显示全部楼层
|
阅读模式
楼主
主题
540
|
帖子
540
|
积分
1620
随着数字化转型深度推进,企业产生的数据量出现出爆发式增长,数据之间的关系也变得越发复杂,导致数据溯源以及数据模型修改后业务分析困难。本文中的用户是一家以金融投资管理软件服务为焦点,专注于金融资管业务和数据治理的金融科技公司。用户通过集成SQLFlow数据血缘分析,助力企业完善数据治理能力,发挥出数据价值。
本文重点介绍用户集成SQLFlow数据血缘分析的方法及其产生的产物价值。
用户必要将数据血缘分析能力集成在其“数据资产管理系统”内,并分发给其用户利用。所以用户采用了GSP(数据血缘分析SDK)+ SQLFLow Ingester(数据摄取)+ Widget(数据血缘展示)组合的方式完成了系统集成。集成方法如下图所示:
用户“数据资产管理系统”通过集成SQLFlow产物,实现了数据摄取、数据血缘分析、数据血缘合并和数据血缘可视化功能。
1、数据摄取
数据摄取是将要分析血缘的SQL从数据库及sql脚本文件中提取出来,为数据血缘分析做数据预备。
利用sqlflow-ingester的SDK可完成数据摄取,本案例用到了sqlflow-exporter、sqlflow-extractor2个SDK。
sqlflow-exporter:可毗连数据库,提取数据库的元数据、DDL(View、存储过程、自定义函数、触发器、Package等)以及HistoryLog。
sqlflow-extractor:负责处理输入的原始数据文件,例如 log 文件,各种脚本文件(从中抽取必要被处理的SQL语句及元数据),包含SQL语句的CSV文件等,把这类文件统一转换为 SQLFlow 可以处理的 SQL 文件。
用户集成sqlflow-ingester实现了数据资产管理中的元数据发现功能,支持对SQL语句、存储过程、ETL脚本等文件进行主动化收罗分析。目前具备了oracle、hive、mysql、greenplum、impala、PostgreSQL等数据库的收罗能力。
2、数据血缘分析
数据血缘分析是通过Java焦点库GSP实现的。GSP通太过析数据摄取阶段得到的元数据和SQL得到数据血缘分析效果。支持json、xml和csv三种输出格式。
用户要分析的数据量比较大,血缘分析必要耗费较高的内存资源。用户单独开辟了一个Spring Boot微服务组件来做数据血缘分析,采用了异步排队的策略,包管了系统的健壮性。
3、数据血缘合并
除了SQL分析得出的血缘外,用户还有一些手工整理的血缘数据,希望将这些血缘跟分析出来的数据血缘进行合并,能看到更完整的数据血缘流图。
GSP支持数据血缘合并,可以将sql剖析得到的数据血缘对象和csv格式的数据血缘合并成一个数据血缘对象。
4、数据血缘可视化
将数据血缘分析效果可视化展示,可以更直观方便地帮助用户查看分析血缘。SQLFlow将前端数据血缘展示功能封装成了独立的JS组件库widget,可以很方便地集成到web端程序中,极大降低了开辟难度。widget数据血缘可视化界面如下图所示:
为了更好的演示GSP + ingester + widget集成方式,我们做了以下2个Demo供参考:
Java集成:
https://github.com/sqlparser/java_data_lineage
Python集成:
https://github.com/sqlparser/python_data_lineage
用户数据血缘分析能力可覆盖数据系统建设中各类血缘收罗场景需求,对数据加工脚本精准剖析,形成数据血缘关系图,答复出“数据从那里来,到那里去”的标题,对数据治理、数据挖掘、数据质量、数据分析等方面都有极为紧张的作用。据用户反馈,集成数据血缘分析能力后,其产物在以下几个方面创造了很大的价值:
1、助力数据清理
在血缘关系图中发现数据上下游都不存在时,识别为孤岛数据,及时清理。防止数据错误利用和不必要的存储和盘算。
2、助力数据决议
当系统进行升级改造的时候,如果修改了数据布局ETL 程序等元数据信息,依赖数据的影响性分析,可以快速定位出元数据修改会影响到哪些下游系统,从而减少系统升级改造带来的风险。
3、助力数据治理
在数据质量中检查出标题的时候,通过数据血缘关系图,可以清晰的看到数据产生、流转、利用的整个前后过程,方便的了解到数据的处理过程是否符合数据质量处理要求。
4、助力数据保护
当识别敏感数据和风险点时,通过数据血缘关系图,可以追溯数据泉源,将涉及到字段列采取相应的脱敏和权限措施,数据防止泄漏。
更多文章请关注微信公众号:
凤鸣古都
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
民工心事
金牌会员
这个人很懒什么都没写!
楼主热帖
Cilium系列-10-启用 IPv6 BIG TCP和启 ...
[源码阅读]-Redis核心事件流程 ...
读Java实战(第二版)笔记07_用Optiona ...
c++ container容器(string,vector,map, ...
Biwen.QuickApi代码生成器功能上线 ...
OpenGL ES google angle
Java中如何将“日期字符串”转换为java ...
一文看懂java单例模式
Java入门11(JDBC)
二进制数的高精度运算
标签云
挺好的
服务器
快速回复
返回顶部
返回列表