论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
ToB企服应用市场:ToB评测及商务社交产业平台
»
论坛
›
大数据
›
数据仓库与分析
›
从逆境到突破,EasyMR 集群迁移助力大数据底座信创国产 ...
从逆境到突破,EasyMR 集群迁移助力大数据底座信创国产化 ...
火影
金牌会员
|
2024-8-7 16:52:38
|
显示全部楼层
|
阅读模式
楼主
主题
545
|
帖子
545
|
积分
1635
在大数据时代,企业对数据的依赖水平越来越高。然而,随着业务的不断发展和技术的快速迭代,大数据平台的
集群迁移
已成为企业数据中台发展途中无法回避的需求。在大数据平台发展初期,国内数据中台市场重要以国外开源 CDH、贸易化 CDP、HDP 为主。然而,由于国际形势的转变,以海外大数据基础平台作为基石构建的数据中台面临着极为严峻的安全挑衅。
● Cloudera 和 Hortonworks 产品开启付费订阅模式
自2021年1月31日起,Cloudera 旗下的所有软件不再提供社区版,转而接纳需付费的订阅模式,并且订阅费用颇高。
● 企业版停止更新和服务
Cloudera 和 Hortonworks 归并后,推出的新平台 CDP 是 CDH 和 HDP 的最后版本,企业用户无法获取新功能和性能提升,并且2022年3月后停止售后支持。
● 国际事件导致的供应中断风险
如俄乌事件,Oracle、Google、苹果、英特尔等公司相继停止对俄业务,进一步暴露外国软件供应链的脆弱性和风险。
面临复杂多变的国际局势,我国陆续推出相应政策推动
信创产业
发展。比如国资委就要求,从23年初开始,每个季度要上报信创体系的替换进度。并要求在2027年底前,实现中央企业的信息化体系国产化替代。
因此,无论是因为 CDH 不再维护,照旧为了实现国产化替代,大概是为了追求更高的性能和安全性,大数据集群迁移的需求都愈发迫切。
EasyMR
作为一款领先的
大数据存储计算平台
,深刻理解企业在集群迁移过程中面临的挑衅和痛点,其
EasyManager 大数据运维管理平台
推出了功能强大的「
集群迁移
」模块,为企业提供一站式的
集群迁移解决方案
,助力企业在确保数据安全和完备性的同时,轻松高效地完成集群迁移工作。
多集群配置支持:一站式管理
支持多种大数据平台的
集群配置
,包罗 EMR、CDH、CDP、HDP 和 NDH。无论企业当前使用的是哪种平台,将要迁往哪种平台,
EasyManager
都能无缝兼容,为企业提供机动的迁移选择。
这种
多集群配置支持
,不但简化了迁移操作,还提高了企业的机动性,让企业可以或许根据实际业务需求,选择最合适的大数据平台。
集群跨域互信检测
集群迁移中源集群与目标集群可能分布在不同的物理位置或不同的网络情况中,乃至跨越不同的企业和组织。在这种复杂的情况下,确保集群之间的互信是保障数据安全和稳固运行的条件。
跨域互信检测
的重要目的是:
· 确保集群间的安全通信:防止未经授权的访问和数据泄漏
· 验证集群间的
身份认证
:确保只有可信的集群才能进行数据交换和协同计算
· 保障数据完备性和一致性:防止数据在传输过程中被窜改或丢失
迁移调度计谋:机动的任务控制
在集群迁移过程中,合理的任务调度和并发控制至关重要。EasyMR 提供了
配置迁移调度计谋
的功能,允许企业根据自身的业务需求和资源状况,机动地设定迁移任务的网络带宽和并发度。
通过
机动调度计谋设定
,企业可以最大化地利用现有网络、计算资源,确保迁移过程高效、有序地进行。同时,
任务并发控制功能
还能有效防止体系过载,保障体系的稳固运行。
数据一致性校验:保障数据准确性
在大数据集群迁移过程中,
数据一致性校验
是确保数据完备性和准确性的关键步骤。
EasyMR
针对数据一致性校验提供了一整套详细而强大的功能,资助企业在迁移过程中包管数据的准确性和一致性。
● Schema 收罗和表结构对比
· Schema 收罗
Schema 收罗
是指从源集群和目标集群中提取数据库的结构信息,包罗表名、字段名、字段范例、索引、约束等。这些信息是进行表结构对比的基础。
· 表结构对比
在迁移过程中,对比源集群和目标集群的表结构是确保数据一致性的第一步。表结构对比包罗以下几个方面:
1)字段数量对比:确保源表和目标表的字段数量一致
2)字段名称和范例对比:确保字段名称和数据范例一致,避免因范例不匹配导致的数据错误
3)索引和约束对比:确保索引和约束在迁移后保持一致,包管数据操作的服从和安全性
● 记载数收罗和记载数对比
· 记载数收罗
记载数收罗
是指统计源集群和目标集群中各表的记载数量,记载数的对比可以快速检测出是否有数据丢失或重复。
· 记载数对比
记载数对比
重要是对比源表和目标表中的记载数量是否一致。记载数不一致可能表明数据在迁移过程中丢失或重复,需要进一步的查抄和处理。
● 数值 SUM 收罗和数值字段对比
· 数值 SUM 收罗
数值 SUM 收罗
是对源集群和目标集群中所有数值范例的字段进行求和操作。通过 SUM值 的对比,可以查抄出数值数据的一致性。
· 数值字段对比
数值字段对比
是对比源表和目标表中数值字段的 SUM 值,确保数值数据在迁移后的总和一致。这可以有效地发现数值数据在迁移过程中可能发生的偏差和错误。
● 字符 Max 收罗和字符字段对比
· 字符 Max 收罗
字符 Max 收罗
是指对源集群和目标集群中所有字符范例的字段进行最大值的提取,通过 Max 值的对比,可以查抄出字符数据的一致性。
· 字符字段对比
字符字段对比
是对比源表和目标表中字符字段的 Max 值,确保字符数据在迁移后的最大值一致。这可以有效地发现字符数据在迁移过程中可能发生的错误和遗漏。
● 抽样收罗和 MD5 对比
· 抽样收罗
从源集群和目标集群中随机抽取一定命量的数据样本进行对比。抽样收罗可以提高数据对比的服从,减少全量对比的时间和资源消耗。
· MD5 对比
通过对源集群和目标集群中的数据进行 MD5 哈希计算,将哈希值进行对比,确保数据的一致性。
实时监控与日志定位
为了资助用户及时相识迁移进度和处理迁移过程中出现的问题,EasyMR 提供了详细的页面查看和
日志记载功能
。
● 迁移任务状态查看
用户可以在页面上实时查看迁移任务的状态,相识迁移进度和效果。
● 迁移日志记载和分析
体系会记载迁移过程中的详细日志,用户可以通过
日志定位
息争决迁移过程中出现的问题,确保迁移任务顺利完成。
总结
EasyMR
为企业提供安全可靠、弹性伸缩、低成本的大数据存储与计算服务,同时支持
一站式迁移解决方案
。迁移流程产品化不但简化了操作,还提升了迁移服从和安全性。无论是数据存储与管理,照旧任务调度与控制,EasyMR 都能为企业提供全面支持。
特别是在
集群国产化替代
方面,EasyMR 通过优化的迁移流程和强大的技术支持,资助企业顺利完成从现有情况到 EasyMR 国产情况的迁移,实现大数据集群的平稳过渡和国产化适配。
《行业指标体系白皮书》下载地址:
https://www.dtstack.com/resources/1057?src=szsm
《数栈产品白皮书》下载地址:
https://www.dtstack.com/resources/1004?src=szsm
《数据管理行业实践白皮书》下载地址:
https://www.dtstack.com/resources/1001?src=szsm
想相识或咨询更多有关大数据产品、行业解决方案、客户案例的朋侪,浏览袋鼠云官网:
https://www.dtstack.com/?src=szbky
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
火影
金牌会员
这个人很懒什么都没写!
楼主热帖
用python反弹shell
微信小程序+web数据库的开发实践 ...
如何配置 SLO
公众号接入 ChatGPT 了!
理论+实践,教你如何使用Nginx实现限流 ...
[Python]解密pyc文件
SAP各模块优缺点和发展简析
每日算法之丑数
MyBatisPlus笔记
Redis 原理 - String
标签云
挺好的
服务器
快速回复
返回顶部
返回列表