6.greenplum 数据源支持视图同步
greenplum 数据源支持进行视图同步,gp 视图与 gp 数据表共用一个元模型,元模型中新增源表名(视图特有)、视图描述(视图特有)技术属性,在选择 gp 类数据源下的数据时,可选中具体视图进行元数据同步、数据脱敏等操作。
7.资产支持 MySQL 类型数据源的自动引入
针对离线创建项目时生成的 meta 数据源,资产支持 MySQL 类型数据源的自动引入,自动引入后需自动创建周期任务。
8.【数据治理】治理工作台、治理配置功能
背景:数据治理的意义是为推动用户依据规范标准进行数据开发,从计算、存储、质量、规范、价值五个维度进行数据治理,目的是优化存储成本、节约计算资源、推动标准规范,让用户通过数据治理看到问题、看到效果。
新增功能说明:本次迭代支持从计算、存储维度进行数据治理,支持自动同步离线开发模块创建的项目信息,可通过配置治理任务对项目进行周期治理,并对产生的待处理问题分配处理人进行处理,实现问题的闭环管理。
功能优化
1.告警邮件内容增加实例的计划时间
在告警邮件中增加“计划时间”,原来的“调度时间”修改为“开始时间”,便于用户直接通过邮件等通知观察到具体是哪一天的质量任务校验失败。
2.数据源显示优化
• 已接入的数据源,按数据源数量-库数量-表数据-存储大小的优先级排降序
• 数据目录分布中,根据当前租户对接的子产品模块来显示数据资源内容
3.数据安全开启时 web 层表权限的申请入口脱敏入口去掉
当数据安全子模块中开启权限管控策略时,以数据安全模块配置的权限策略为准,资产模块的表权限的申请入口隐藏。
若数据安全子模块中开启了针对 hive/sparkthrift/trino 的脱敏策略,则脱敏入口中的脱敏应用,不可选择这些类型的数据源下的数据表。
4.表生命周期 IDE 脚本同步
离线开发模块支持通过 IDE 脚本进行生命周期配置,当生命周期有变更时,可同步到资产,在元数据模块查看表详情时可展示生命周期信息。
5.数据脱敏管理优化 数据脱敏规则配置完成后,在进行脱敏应用配置页面支持编辑操作。