利用数据库同步中间件DBSyncer实现不同数据库的数据同步 ...

打印 上一主题 下一主题

主题 1018|帖子 1018|积分 3054

点击上方蓝字关注我

  

  

       有去O(ORACLE数据库)、信创、国产化数据库等项目实践的同砚应该都碰到过不同数据库之前举行数据迁移的问题,虽然有各种工具可以实现,但是有些工具的部署、利用比力复杂,也有些工具迁移数据效率很低。本文将先容一款开源且部署、利用简单、迁移相对高效的数据库中间件DBSyncer来举行数据迁移。该工具支持Oracle、MySQL、PostgreSQL、 SQL SERVER、ES、Kafka等数据库之间的迁移。
  

  1. 部署
  推荐机器配置:内存8GB,4core,磁盘60GB(建议上好点的SSD)
  本次在Linux服务器上举行部署
  1.1部署JDK
  根据官方文档指引,需要安装JDK8,详细可以自行在官方下载安装
  

  我利用的8.0.191也可以  

  1.2 下载安装包并举行部署启动
  DBSyncer分社区版记专业版,假如想试用专业版功能可以自行测试,本文将利用社区版举行测试。
  下载:
  社区版下载地点:https://gitee.com/ghi/dbsyncer/releases
  为了体验新特性及优化后的功能,可以下载最新版本,当前最新版本为2.0.4,选择并举行下载
  

  1. wget https://gitee.com/ghi/dbsyncer/releases/download/v2.0.4/dbsyncer-2.0.4-bin.zip
复制代码

  解压、启动:
  1. unzip dbsyncer-2.0.4-bin.zip
复制代码
bin目次下有启停脚本、实行运行即可
  

  1. # 启动sh startup.sh
复制代码
看到“Start successfully!”即启动成功
  

  启动后的管理页面可以通过 http:// ip:18686举行登录检察,默认管理账号密码为 admin/admin
  

  2. 数据迁移
  2.1 准备工作
  本次测试的是从Oracle迁移数据至MySQL,因此先在Oracle数据库中创建一张表及测试数据,在MySQL数据库中也创建一张表
  Oracle库:
  1. CREATE  TABLE  test1(id int ,c1 varchar(20))INSERT INTO  test1 values(1,'a');INSERT INTO  test1 values(2,'b');commit;
复制代码
MySQL库:
  1. CREATE TABLE  test1(id INT PRIMARY KEY ,c1 VARCHAR(20));
复制代码
2.2 配置数据源
  

  配置一个名为oracle1的数据源,对应填写连接信息、账号密码等,完成后保存即可
  

  假如保存时不报错,则阐明连接添加成功,假如保存过程中有错误,则按照错误信息举行解决。
  再配置一个MySQL数据源作为目标库,MySQL的连接URL里要留意库名的配置
  

  保存后即可在界面上看到对应的数据源
  

  2.3  配置迁移使命
  这个版本点击“添加驱动”举行数据迁移使命的配置(建议修改名称,以免有误解)
  

  先选择源目数据源,并配置一个使命名称
  

  保存后举行相干表影射等配置,比方选择表名及目标表,对应的主键名等
  

  在高级配置中还可以举行其他的转换配置等
  

  使命配置完成后,可以在页面上看到同步列表
  

  2.4  启动使命
  点击右上角的启动按钮即可启动本使命
  

  启动后会显示”运行中“”的状态
  

  完成后会显示进度、耗时及成功数量
  

  去目标库中检察效果,可以发现数据已同步进MySQL,至此本次数据迁移完成。
  

  3. 小结
     根据DBSyncer官方先容,社区版的效率确实相对于专业版迁移效率差别很大,各人可以下载测试一下。另外,也可以配置大字段、大表,不同数据库的兼容配置、增量同步等举行更个方面的测试。
  

  除了DBSyncer,其他的数据迁移工具也可以多尝试及对比
  

  往期出色回顾
  1.  MySQL高可用之MHA集群部署
  2.  mysql8.0新增用户及加密规则修改的那些事

  3.  比hive快10倍的大数据查询利器-- presto

  4.  监控利器出鞘:Prometheus+Grafana监控MySQL、Redis数据库
  5.  PostgreSQL主从复制--物理复制
  6.  MySQL传统点位复制在线转为GTID模式复制

  7.  MySQL敏感数据加密及解密
  8.  MySQL数据备份及还原(一)
  9.  MySQL数据备份及还原(二)
  

  
扫码关注    

  

  

  


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

没腿的鸟

论坛元老
这个人很懒什么都没写!
快速回复 返回顶部 返回列表