金融案例：同一查询方案助力数据治理与分析应用更高效、更安全
随着企业数据规模的增长和业务多元化发展，海量数据实时、多维地灵活查询变成业务常见诉求。同时多套数据库体系成为常态，这既带来了数据管理的复杂性，又加大了数据利用的难度，面对日益复杂的数据环境和严格的数据安全要求，需要解决多数据库体系并存、数据孤岛严峻、权限管理混乱和数据查询提取困难等问题。与此同时，企业对数据安全管控的要求越来越高，差别脚色和部分需要访问的数据各异，如何精致控制数据库权限、防止数据泄露和误操作成为关键挑衅。建设配景
相较于一样平常查询，在体系实施时通过建立索引、分区等技术来优化、提高查询效率。Ad-Hoc查询生成的方式很多，常见方式是将数仓中的DIM表和Fact表映射到语义层，分析师借助语义层选择表建立表间的关联最终生成SQL语句，Ad-Hoc能力是分析师在利用时暂时生产的，体系无法预先优化这些查询，即席查询的位置在EDW中。在一个数据堆栈体系中，Ad-Hoc查询利用的越多，对数仓的要求就越高。
以银行、消费金融公司为例，存在业务查询与同一Ad-Hoc需求，下设部分涵盖产物研发、运营推广、贷后管理、法务合规等多个业务领域。由此多类型数据库实例共存下，在用户体系整合、数据权限管理、操作安全审计、SQL查询语法等方面变得十分繁杂，急需一款能够进行多数据库接入、同一数据出口的平台。
案例场景
随着业务量的增长，为提升业务处理效率和风险管理程度，业务主要分为三个部分：风险管理部分、科技部分、金融市场部分，其中风险管理人员能够熟练的利用SQL，但需要针对差别的业务改变SQL语法，经常会出现语法不兼容的问题。金融市场人员较少利用SQL，需要以可视化拖拉拽的方式去拉取明细数据。科技部开发人员在操作数据库时经常会出现误删除、修改核心数据，写一些危险SQL对业务库造成压力，需要给利用人员设置DDL权限以及代码查抄来保证数据安全。
部分管理员同一在平台内设置用户的账号信息以及数据源的JDBC链接信息，根据业务需要设置数据权限和代码校验规则，完成基础设置后风险管理人员即可在平台内屏蔽掉下游的计算引擎用一种通用SQL语法取数，金融市场人员需要先根据业务设置常用的数据模型，后续进行可视化取数，excel数据整理。而开发人员只能够在所配的权限下对数据库执行DML语句，如果有超出权限的SQL需要发起审批，审批通事后才可以执行。
痛点分析
1、账号存在安全风险
数据库账号往往由多名操作人员共享，运维人员的权限有可能超出工作实际利用所需要的，很容易出现操作越权等举动，给数据安全造成威胁。
2、差别数据库存在语法差异
差别类型的数据库都有其独特的SQL语法和规则，开发人员在编写SQL查询语句时，需要针对差别数据库进行适配，增加了开发的工作量，并可能导致潜伏的错误和性能问题。
3、业务多维查询遇到问题
业务查询常见钻取、上卷、切片、切块、行列变换，在业务查询过程中，零售场景查询单个PV或者查询业务流水，数据读取动则上百个G；查询内存OOM，一直不够用；夜间调度与数据同步，产物经理和分析师上班时间杀任务脚本。
4、审计线索不足，追溯困难
传统工具无法记任命户及其举动数据，如果有数据操作异常的举动无法进行溯源和定责，可能导致数据的二次侵害，给平台长期健康稳固运行带来挑衅。
5、业务人员SQL利用频率低
许多报表和分析人员对SQL语句不熟悉，新增报表或者固定报表字段变更时需要进行数据探查，过去提取操作都需要依赖IT人员编写SQL查询，导致数据查询周期长，业务决策支持的效率较低。
6、业务数据分散多个体系中
在复杂的融合分析场景下，数据分析难以将存储在当地Excel文件中的数据导入体系与业务库数据进行关联，不能及时灵活的对业务数据进行分析。
建设方案
1、同一查询引擎
支持适配多种数据库语法，主动转换查询语句，提供包罗语法高亮、关键词提示、格式化等功能的IDE编辑界面，让用户无需关心底层数据库的语法差异，一站式完成数据毗连、数据处理、数据分析等全流程功能。
2、同一身份认证管理
在利用平台前需管理员先维护好用户个人的账号信息以及相应权限，登录同一查询平台后才能访问数据库，无法打仗到数据库真实账号密码。
3、AI辅助数据查询
可根据天然语言表达的数据查询效果转译对应的SQL下令，包罗SQL的生成、改写、纠错等，帮助查询人员轻松完成复杂数据提取分析工作。
4、降低数据分析门槛
业务人员可以通过拖拽式操作进行数据提取、模型设置、过滤器设置、可视化报表设置等功能，直观地选择数据源、界说查询条件和组合数据，无需深入相识底层数据库结构和SQL语法，提升数据决策支持能力。
5、数据库安全权限管控
设置数据脱敏、行级权限等安全步伐，根据差别脚色和职责设定权限，保证业务库中数据的隐私和安全，并对权限变动、危险SQL等用户举动实时审计，以确保数据的合规利用。
https://img2024.cnblogs.com/other/2317299/202404/2317299-20240426153053172-798261146.png
建设收益
在某消费金融公司的项目落地中，使差别部分的人员能够迅速获取所需信息，显著提升了业务处理效率，满足了客户资料查询、交易记录检索、风险信息评估等多种场景的数据分析。同时确保了金融信息的安全性和保密性，为后续平台的稳健运行提供有力保障。
1、数据需求周期大幅缩短
传统的数据需求流程需要颠末多个部分审批、和谐，由IT人员排期手动提取。同一查询平台借助SQL/自助取数，允许数据分析、业务人员在同一的平台上按需自助提取，大大减少了沟通、开发、测试成本，使得数据获取周期从原来的3-5天缩短到分钟级出数。
2、数据驱动决策门槛显著降低
借助自助取数及SQL收藏等功能，使得一线业务及运营管理人员也能便捷访问多源异构数据资产，推动全员数据驱动决策，自平台上线以来，业务侧数据分析参与度显著提高，登录人次、停留时长、SQL收藏量、查询任务数、数据导出次数等指标均远超项目规划预期。
3、数据风险操作同一溯源
借助平台的审计日记功能，全面覆盖各类对接数据库的数据操作举动，实现操作举动完整记录率的100%触达，不仅增强了数据安全管理及合规性，还将数据风险操作的定位与排查时间从数小时大幅缩短至数分钟内，审计相应效率提升达80%以上。
4、数据访问权限可视可管
同一查询平台运用行/列级权限控制及数据脱敏技术，实现数据访问权限的可视化与精致化管理，提高了数据安全管控能力。数据表权限设置有效覆盖率提升至95%以上，有效制止非法数据访问；实现对客户信息、渠道数据等的主动识别与脱敏处理，有力保障了企业在数据共享与应用中的安全性与合规性。
https://img2024.cnblogs.com/other/2317299/202404/2317299-20240426153053620-259668239.png
《行业指标体系白皮书》下载地址：https://www.dtstack.com/resources/1057?src=szsm
《数栈产物白皮书》下载地址：https://www.dtstack.com/resources/1004?src=szsm
《数据治理行业实践白皮书》下载地址：https://www.dtstack.com/resources/1001?src=szsm
想相识或咨询更多有关大数据产物、行业解决方案、客户案例的朋侪，浏览袋鼠云官网：https://www.dtstack.com/?src=szbky
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]