2024可信数据库发展大会｜存算分离架构驱动电信数据平台革新 ...

7 月 16 日 - 17 日，由中国通讯标准化协会和中国信息通讯研究院主办，大数据技能标准推进委员会承办，InfoQ 团结主办的「2024 可信数据库发展大会」（TDBC）在北京召开。


酷克数据解决方案架构师吴昊受邀到场“电信行业数据库应用创新分论坛”，并发表《存算分离架构：加快电信行业数据处理，驱动业务创新》主题演讲，深入分析了当前电信行业在数据平台建立过程中面对的挑衅，并分享了存算分离架构的 HashData 云数仓在电信行业的方案与结果。

吴昊指出，移动互联网的发展导致电信行业数据量激增，这对数据平台的建立提出了亘古未有的挑衅。从解决单点业务问题到垂直大数据应用，再到企业级大数据中央的构建，这一系列的演变，不仅要求数据平台在数据处理和业务支撑上具备更强的能力，更紧张的是，催生了一种全新的数据头脑。在这种新头脑下，数据洞察不再依存于基于复杂模型的抽样理论，而是基于全量数据举行分析，举行全量盘算，从而降低对复杂模型的依赖。


这要求数据平台必须拥有出色的处理能力和高度的机动性，以便可以大概迅速适应不停变化的数据情况和业务需求。然而，传统的 MPP 数据库由于采用了存储与盘算精密耦合的架构，导致其弹性伸缩能力不足，难以满意当前数字化转型需求。为了解决这些挑衅，需要采用新的技能架构和管理方法，以进步数据平台的机动性、可扩展性和安全性。


针对上述挑衅，吴昊详细先容了基于存算分离架构的 HashData 云原生数据仓库的独特优势。他强调，HashData 采用元数据、盘算和存储三者分离的架构，可以大概更好地适应跨集群、跨中央以及跨云中央的数据访问。

HashData 利用同一的元数据和存储服务，构建了具有权威性的企业级数据视图，使得多个盘算集群可以大概无缝共享数据。借助云端资源的机动伸缩性，不仅明显提拔了运维服从，还降低了系统复杂度，并乐成消解了木桶效应等潜在问题。基于存算分离和云原生架构，目前 HashData 摆设的最大规模已到达 35000 节点，可以大概根据业务需求动态地分配资源，从而实现了盘算资源的高效利用与弹性扩展。


•多形态数据集中存储能力，打破数据存储孤岛：非布局化多模态数据涵盖范围广，管理过程复杂。HashData 引入 Directory Table 目录表，存储和管理非布局化数据对象的元数据，这些元数据以布局化的情势存在 ，元数据信息与共享存储上的非布局化数据文件本体态成关联关系，用户可以利用熟悉的 SQL 语句来操作 Directory Table 和普通表。

•利用外部表/连接器集成大数据生态，融入企业湖仓架构：面对日益多样化的数据分析场景，HashData 云数仓提供湖仓一体技能方案，数据可以在湖仓之间高效互通，支持多种数据类型存储，从架构上真正实现了湖仓一体，减少用户重复建立资源。HashData 可以同步 Hive、Hudi、Iceberg 元数据，创建外部表，并行访问大数据生态数据，到场 SQL 盘算，并将数据缓存在盘算节点，供后续利用。

•多样化分析盘算能力—HashML 引擎：AI 技能的兴起为我们提供了新的机遇。HashData 基于 In-Database AI 的理念，内置功能丰富的 AI 开发工具箱 HashML，在一套架构下同时提供了面向 SQL 查询分析使命的 MPP 盘算引擎和面向呆板学习和深度学习使命的 ML/DL 盘算引擎，赋能用户在数据查询处理、高级分析、呆板学习、深度学习等场景的一站式、多层次融合分析和 AI 能力，资助企业快速开发大模型等 AI 应用。


•存算分离的弹性架构，降服传统 MPP 局限性：HashData 通过独特的元数据、盘算与存储分离架构，实现了盘算集群的按需搭建与横向扩展，从而有效突破了传统 MPP 数据库在并发和盘算能力上的局限。基于云原生能力，让盘算、存储实现秒级独立伸缩，多个盘算集群间共享同一份元数据信息，从而支撑企业业务的机动扩展，确保工作负载在峰值场景下平稳运行。在保证了数据的划一性的同时，更节省存储和调用资源，大幅降低系统建立和维护资源。


吴昊进一步分享了 HashData 在电信行业的现实应用案例：


•基于信创底座构建湖仓融合的数据中台：某大型运营商选用 HashData 举行数据中台信创升级改造。HashData 运用云原生技能重构大数据算力调度引擎，并基于客户信创底座构建多样化分析平台。该平台融合现有大数据体系，支持批量和准实时分析，采用联邦 HDFS 同一存储、管理多源异构数据，实现数据一次入湖、直观分析。同时，支持多引擎融合，答应用户根据需求机动选择盘算引擎，并能根据租户需求隔离盘算业务集群，弹性调整算力。基于存算分离架构，该平台可以大概满意各类业务场景的技能需求，实现业务资源需求快速交付，历史数据平滑过渡，核心技能自主可控，为用户业务增长提供了强有力的支持。


•基于 K8S 打造云原生数据平台：某运营商团结酷克数据团队，突破以往容器化仅用于无状态应用场景或开发测试情况的限定，采用 K8S+HashData 的技能路线，在国内率先建成真实生产情况下的容器化摆设大规模云原生数据仓库。相比原有数据平台，基于容器化摆设的 HashData 云数仓，具备高可用、高并发、盘算资源水平无穷扩展、秒级扩缩容等能力，扩缩容期间不影响业务连续性，实现了盘算资源快速摆设、高效交付的建立目标。


末了，吴昊展望了存算分离架构在电信行业的广阔远景。他认为，随着技能的不停进步和业务的连续发展，存算分离架构将在更多领域发挥紧张作用。酷克数据也将继续致力于云端数据仓库的研发与应用推广，为电信行业乃至整个社会的数字化转型贡献更多气力。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。