效率跃升16倍!火山引擎ByteHouse助力销售数据平台复杂查询效率大幅提高 ...

打印 上一主题 下一主题

主题 1814|帖子 1814|积分 5442

更多技能交流、求职时机,欢迎关注字节跳动数据平台微信公众号回复【1】进入官方交流群。
 销售数据,是反映市场趋势、斲丧者行为以及产物表现的重要指标,也是企业做出精准决策的关键依据。因此,对销售数据举行全面使用、高效分析与合规管理,在企业经营中占据着重要地位。 为了更高效、安全地使用销售数据,某公司引入了开源ClickHouse作为数据分析引擎,将分散的销售数据同一到一套可视化分析平台中,并采用鉴权ACL模式来精致化管理企业内部员工的看数、用数权限。 但实际上,该公司销售数据平台在引入鉴权ACL后,出现了性能不足、用户体验受损的状态。其一,ClikHouse的性能难以满足复杂且量级巨大的查询需求,使得集群复杂恶化;其二,ClickHouse集群的CPU使用率长期处于打满状态对用户体验造成影响。 为了解决以上问题,在复杂查询领域具备显著优势且完全兼容ClickHouse的ByteHouse成为该公司迁徙首选。 据了解,ByteHouse支持优化器和MPP执行模型,可以或许较好地支持复杂join与聚合计算的场景。此中,ByteHouse 的优化器在RBO与CBO方向上分别举行了大量的自研优化,而且实现了动态 Filter 下推、物化视图改写、筹划复用以及结果复用等高阶能力。从而可以或许根据表的布局、索引等信息天生最优的查询执行筹划,提高查询执行效率,镌汰资源斲丧,整体上提升了ByteHouse在复杂场景下的查询性能。 在ByteHouse的支持下,目前该公司在销售数据的非ACL查询和ACL查询两个方向上,都实现了查询效率的显著提升。以ACL查询的60M广告客户DI场景为例,查询效率已经从从优化前的16秒大幅收缩至现在的1秒,效率提升高达16倍。
抽取该公司销售平台某数据集测试结果 作为新一代云原生数仓产物,ByteHouse在离线、在线复杂分析性能、便捷弹性扩缩容、全场景分析引擎等焦点能力上持续优化,并已在互联网、游戏、金融、景象等领域广泛应用。将来,ByteHouse持续以卓越的数据分析能力,为更多业务系统赋能,助力企业数智化转型升级。  点击跳转 火山引擎云原生数据堆栈ByteHouse 了解更多。 
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

商道如狼道

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表