首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
SAAS
ToB门户
了解全球最新的ToB事件
论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
微博
Follow
记录
Doing
博客
Blog
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
排行榜
Ranklist
相册
Album
应用中心
qidao123.com ToB IT社区-企服评测·应用市场
»
论坛
›
软件与程序人生
›
后端开发
›
Java
›
数据剖析更灵活、更快捷,火山引擎 DataLeap 动态探查全 ...
返回列表
发新帖
数据剖析更灵活、更快捷,火山引擎 DataLeap 动态探查全面升级
[复制链接]
发表于 2023-5-11 16:19:27
|
显示全部楼层
|
阅读模式
近期,火山引擎 DataLeap 上线“动态探查”能力,为用户提供全局数据视角、完善的抽样策略,提高数据探查的灵活度以及响应速率。
传统的数据探查是基于库表的全量探查,由后端引擎执行,通过自动化检查数据成分、关系、格式等,以报告形式展示探查后列的统计分布结果,避免数据质量导致项目开发、上线出现问题,主要应用于元数据管理、数据研发、数仓开发以及
数据治理
等环节,满足使用者对数据质量初探的需求。
但在数据量级大、用户需要探查数据明细或需要数据预处理操作时,由于传统的数据探查要对全量表进行检测,导致无法实时产出报告、等待时间变长,灵活度低,且无法跟踪数据明细。
针对上述痛点,火山引擎 DataLeap 在传统数据探查基础能力上,进一步增强了动态探查能力。其特点在于:
基于大数据预览探查,支持对数据进行函数级别预处理。
数据探查结果秒级更新、实时响应。
与数据
监控
联动,有效打通数据探查到质量分析闭环。
据介绍,DataLeap 动态探查的对象是抽样数据,支持连续抽样(按照默认顺序连续抽样前 x 条数据)、过滤抽样(使用 where 过滤语句过滤)、随机抽样(随机抽样 x 条数据)3 种模式,用户可对数据进行预处理,实时、动态获得统计分布结果,具备灵活度高、实效性强的特点。
火山引擎 DataLeap 动态探查使用流程
除此之外,DataLeap 动态探查具备对探查结果基础分析能力,包含列删除、过滤、排序等。用户对探查结果的每一次操作都会被记作一次操作,多次操作串联成操作栈,DataLeap 支持用户自由修改或删减操作栈里的步骤,并实时查看最新结果。
火山引擎 DataLeap 动态探查操作栈
火山引擎 DataLeap 数据探查报告
目前,DataLeap 动态探查可以应用在以下三个场景中:
场景 1:用于分析型探查场景,用户可利用 hive 基本函数,如 get_json_object,将列进行数据提取。
场景 2:与探查报告打通,用户点击探查报告中的统计值,即可跳转到数据表格,并应用具体行过滤函数。
场景 3:用于数据过滤后的探查场景,用户通过过滤和分组条件进行写条件探查,例如校验 status=0 时 current_price 为 0 的占比。
DataLeap 是火山引擎数智平台旗下产品,提供数据集成、开发、运维、治理、资产、
安全
等能力,帮助用户提升数据研发效率、降低管理成本,加速推动企业的数字化转型,目前已经应用于泛互联网、制造、新零售、汽车等领域。
点击跳转
火山引擎
DataLeap
了解更多
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
×
回复
使用道具
举报
返回列表
浏览过的版块
数据仓库与分析
SAP
网络安全
主机安全
零售
人工智能
IT服务商
Oracle
运维.售后
王海鱼
+ 我要发帖
登录后关闭弹窗
登录参与点评抽奖 加入IT实名职场社区
去登录
微信订阅号
微信服务号
微信客服(加群)
H5
小程序
快速回复
返回顶部
返回列表