ToB企服应用市场:ToB评测及商务社交产业平台

标题: 可路由计算引擎实现前置数据库 [打印本页]

作者: 尚未崩坏 时间: 2024-7-12 18:05
标题: 可路由计算引擎实现前置数据库
很多大机构都会有个中央数据仓库负责向应用提供数据服务。随着业务的发展，中央数据仓库的负载在连续增加。一方面，数仓是前端应用的数据后台，而前端应用不断增多，用户访问的并发数也不断增长。另一方面，数仓还要承担原始数据的批量离线处置惩罚，而批量任务不断增加，其数据量和计算量也在不断增大。以是，经常会出现中央数据库不堪重负的环境。表现出来的现象是：批量处置惩罚任务耗时过长，远远凌驾业务可以容忍的时限；在线数据查询响应太慢，用户长时间等待，满意度越来越差。特殊是月末或者年末，计算量达到高峰的时间，这些题目会更加严重。

办理这个题目最轻易想到的方法是进步中央数据仓库的负载能力，也就是对现有数仓进行扩容或者更换其他数仓产品。但是，数仓扩容涉及的软硬件本钱都很高，频繁扩容意味着无法承受的巨大投入。而且，数据仓库一旦达到容量上限，这个办法也就不可行了。
将现有的数据仓库换成其他数仓产品的可行性也不高，这牵扯到多个部门、多种应用，更换的综合本钱太高，风险也很大。即使真的换了，也不能包管很好的办理这个题目。
我们发现，现实中的很多应用都有如许一个特点：有一部门小量（热）数据访问频率远高于别的的大量（冷）数据，比如对近来几天数据的查询可能占全部查询的 80% 到 90%。我们可以使用这个特点来办理题目，具体做法是：在中央数据库和前端应用之间增加前置数据库，存放访问频次高的少量热数据。前端应用的查询请求统一提交给前置数据库，由前置库判断查询的是热数据还是冷数据，相应的访问当地数据，或将请求转发给中央数据仓库。末了，将热、冷数据计算效果整合后，统一返回给前端。前置库方案大致是下图如许：

这个方案中，数据流动的路径要遵照一定的数据路由规则：频繁出现的针对少量热数据的查询由前置数据库负责，偶尔出现的针对大量冷数据的查询由中央数仓负责。如许，中央数仓的负载大大低落，不再成为拖累性能的瓶颈。
但是，传统数据库或数仓软件却很难实现这种前置库方案。这是因为，数据库的计算能力是封闭的，只能计算库内的数据，很难实行计算路由规则、查询转发和效果整合等。而且，前置数据库和数据仓库一般是不同类型的软件产品，这时间会更难以实现这类跨库的运算。
按照我们假想的方案，前置库中只会存储少量热数据。假如将传统数据库用作前置库，就只能计算这些热数据，不能计算冷数据，更无法实现冷热数据整合。显然，我们也不可能让前置数据库存储全量数据，这会变成第二个中央数据仓库，不但带来巨大的本钱，也会造成重复建立。
假如不能在前置数据库上实现计算路由，就只能在前端应用上想办法。比如在界面上让用户本身选择数据源，但这会低落应用程序的易用性，影响用户满意度。再比如修改应用程序来实现路由和数据整合，但应用程序端并不擅优点置惩罚这类运算，效果会导致代码量会很大，开发维护本钱高，还很难通用。
esProc SPL 是专业的结构化、半结构化计算引擎，提供开放的计算能力，数据可以从当地存储读取，也可以来自于各种异构数据源，可以或许轻松实现上述方案中的各种计算需求，非常得当承担前置数据库的作用。SPL 实现前置数据库的架构图大致是下图如许：

SPL 是轻量级计算引擎，热数据量不大时，可以单机摆设，甚至可以直接嵌入前端应用中，系统建立本钱相对于传统数据库要低很多。
SPL 实现数据路由规则的代码非常简捷。假设前端应用要按客户分组统计，输入参数是开始和结束年份。前端应用的请求中 90% 以上都是计算本年和去年的数据，以是将这两年的热数据存放在 SPL 的组表 sales.ctx 中，全量数据存仍放在中央数据库的 sales 表中。这时，前端应用的请求提交给前置库后，SPL 实现数据路由的代码大致是如许：
AB1=begin_year=2021=end_year=20222if begin_year>=year(now())-1=file(“sales.ctx”).open().cursor@m(…;year(sdate)<=end_year)3return B2.groups(customer;sum(…),avg(…),…)4else=connect(“DW”).query(“select customter,sum(…),avg(…) from sales where year(sdate)>=? And year(sdate)<=? group by customer”,begin_year,end_year)5return B4 A1、A2：前端提交的开始年份和结束年份，现实应用中应作为参数传入，这里为了方便理解直接写在代码中了。
A2-B3：假如开始年份大于等于去年，则用当地热数据 sales.ctx 计算效果，并返回。这里的过滤、分组计算，SPL 只要一两个函数就可以实现。
A4-B5：其他环境则毗连中央数据仓库 DW，执行请求并返回效果。SPL 可以轻松毗连各种数据库、数据仓库，很轻易转发前端的请求，并统一给前端应用返回效果。
SPL 封装了大量结构化、半结构化计算函数，即使面对非常复杂的计算，也可以用很简捷的代码实现。相反，假如在前端应用中使用 Java 等高级语言来实现简朴的过滤、分组汇总计算，也需要编写大量代码。
可路由计算引擎 esProc SPL 实现的前置数据库，将少量高频访问的热数据缓存在当地，可以有用提升系统整体的响应速度，减少用户等待时间。同时，前置数据库将绝大部门查询计算从中央数据仓库分离出来，减轻了中央数仓的负担。
SPL资料

SPL下载
SPL源代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)