梧桐数据库小规模试点验证项目

应用案例背景

        随着企业数据量的敏捷增长和业务需求的不停演变，传统的数据堆栈技能面对性能瓶颈和扩展性限制。为了应对这些挑衅，企业启动了梧桐数据库小规模试点验证项目，旨在评估梧桐数据库的性能、扩展性、兼容性和总体拥有成本。
        当前资产中心现网环境有4个oracle集群，支撑含日报、快报等B域大部分业务，资产中心数仓当前存在业务支撑方面存在性能瓶颈（过亿级表、多表关联时延达小时级）、硬件扩容困难（不支持按需扩展存算资源、不支持在线扩容）、集群间数据共享低效（集群间数据拷贝、dblink传输服从低）、以及产物建设成本高、非自主可控等题目。
        从数仓技能架构演进和实现降本增效的需求出发，故开展本次“梧桐”国产数仓产物小规模验证，测试的目标是通过B域内的范例应用场景（资产中心）验证该产物能否支撑现实生财产务开展，同时与现有资产中心在用数据库的利用举行对比，为数据库选型提供依据。
   注：当前资产中心业务一小时并发峰值存过达到300个，相对于标签天生客户群业务、位置实时处理业务，资产中心业务的作业并发度、使命数、单个作业处理逻辑复杂度（多表关联处理）更高，能够充分查验数据库体系能力。
  

应用案例目标

• 验证梧桐数据库在处理大规模数据集时的性能表现。
  
• 评估梧桐数据库的存算分离架构在现实业务场景中的应用效果。
  
• 测试梧桐数据库与其他体系集成的兼容性和数据迁徙的可行性。
  
• 对比分析梧桐数据库与传统数据库的成本效益。
  

应用案例实施步骤

环境搭建与数据迁徙：在指定的硬件环境中部署梧桐数据库，并配置所需的网络和存储资源。

总体规模：联创数据库本期规划36节点，此中计算 节点23台, 存储节点 4台，管理节点9台。
计算节点：计算节点主要承载大量的数据计算使命， 包罗业务汇总、关联计算，属于高CPU、高内存业务处理，规划优先选用C3型主机。
管理节点：管理节点主要用作数据库会话的连接和 元数据的存储，不举行大量的计算使命，以是采用 B1性主机。
存储节点：主要用于存储数据，由于联创数据库采 用分布式共享存储架构，以是采用大存储，低计算 B2型主机。
   注：因苏州资源池临时只有B2服务器，当前集群全部基于B2服务器搭建，后期资源池资源充足，可将计算节点换成C3或者B1服务器。
  

功能验证：对梧桐数据库的根本功能举行测试，包罗数据查询、数据更新、事务处理等。

1、函数支持

• 支持窗口函数、复杂函数等常用函数；
  
• 支持自定义函数，可以在数据库直接创建，不需要java或者C编译；
  
• 兼容常用测试sql。
  

2、分区支持

• 在国产数仓中存储Oracle抽取过来的多个分区的数据，能够满足对所有分区的查询性能不降低。
  

3、易用性支持

• 图形化客户端；
  
• 如PL/SQL一样，方便开辟人员利用。
  

4、锁机制

• Oracle为行级锁，差别分区并发不会产生锁等待，验证国产数仓对同一个表执行多个sql是否支持分区锁。
  

性能测试：模拟现实业务场景，对梧桐数据库举行压力测试和性能评估。

1、数据抽取

• 测试场景：测试国产数仓的数据抽取服从，并与Oracle做对比；
  
• 数据量：万级、百万级、千万级、亿级、十亿级。
  

2、数据加载

• 测试场景：测试国产数仓的数据加载服从，并与Oracle做对比；
  
• 数据量：万级、百万级、千万级、亿级、十亿级。
  

3、数据处理

• 测试场景：测试区分数据转换、单表汇总、两表关联、三表关联等差别场景下国产数仓的数据处理服从，并与Oracle做对比；
  
• 数据量：万级、十万级、百万级、千万级、亿级、十亿级。
  

• Oracle对百亿数据量无法支持，故此量级不做比对。
  

4、实时写入

• 测试场景：通过Flink将数据实时写入国产数仓，记录执行时间，观察CPU/IO等资源斲丧，并和Ignite举行对比；
  
• 数据量：千万级、亿级、十亿级、百亿。
  

• Oracle对百亿数据量无法支持，故此量级不做比对；从位置中心实时抽取数据至Ignite支撑网格通业务。
  

5、实时读取
 测试场景：实时读取数据，验证连接数利用（N多并发是否会把连接数占满），单表、多表关联等场景数据读取服从，并和Starrocks举行对比；

• 数据量：千万级、亿级、十亿级、百亿。
  

   注：从话单、位置集群实时抽取数据至Starrocks，支撑行程码明细归集查询。
  6、批量业务场景

• 测试场景：举行生产现实运行业务的批量验证；
  
• 作业量：本次举行范例存过的验证，并确保使命定周期运行。
  

扩展性测试：验证梧桐数据库的存储和计算资源能否按需举行扩展。

• 存储资源、计算资源分别扩容的环境下，是否需要停机利用，对已部署流程执行服从的影响；
  

应用案例成果

• 梧桐数据库在处理大规模数据集时表现出良好的性能，响应速率快，满足业务需求。
  
• 存算分离架构有效提升了体系的扩展性和资源利用服从。
  
• 数据迁徙过程顺遂，数据完整性和一致性得到保障。
  

应用案例结论

 结论一：履历证，梧桐国产数仓在功能特性方面满足利用需求，对比Oracle在性能、拓展性、架构等方面具备更优的特性，但在实时入库能力、复杂函数兼容性、易用性等方面存在优化空间；。
 结论二：基于Gbase现场利用反馈，梧桐国产数仓功能架构更优，迁徙改造工作量对比Gbase手工改造有所降低。
注：本次验证因B1、B3服务器资源有限，无法部署Gbase数据库。
后续发起

• 基于试点验证的结果，发起在更多业务场景中推广梧桐数据库的应用。
  
• 继续与梧桐数据库团队合作，针对发现的题目举行优化和改进。
  
• 定期评估梧桐数据库的版本更新，确保体系功能与业务需求保持同步。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。