开源数据同步中心件（Dbsyncer）简单玩一下 mysql to mysql 的增量，全量配 ...

一、什么是Dbsyncer

1、先容

        

        Dbsyncer是一款开源的数据同步中心件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景，支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。
       2、特点

1、组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，恣意搭配表同步映射2、关系及时监控，驱动全量或增量及时同步运行状态、结果、同步日志和系统日
项目地址：

1. https://gitee.com/ghi/dbsyncer

复制代码

应用场景

        3、下载安装包

• 安装JDK 1.8（省略具体）
  
• 下载安装包dbsyncer-x.x.x.zip（也可手动编译）
  
• 解压安装包，Window实行bin/startup.bat，Linux实行bin/startup.sh
  
• 打开浏览器访问：http://127.0.0.1:18686
  
• 账号和密码：admin/admin 
  

         4、阿里云镜像地址

1. docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer:latest
2. docker pull registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer-enterprise:latest
3. docker pull registry.cn-hangzhou.aliyuncs.com/lifewang/dbsyncer:latest

复制代码

           5、手动编译

先确保环境已安装JDK和Maven

1. $ git clone https://gitee.com/ghi/dbsyncer.git
2. $ cd dbsyncer
3. $ chmod u+x build.sh
4. $ ./build.sh

复制代码

二、Dbsyncer的安装（这里只演示虚拟机的，java代码的这里不演示）

        1.下载好安装包后，把安装包放在虚拟机的 /opt/momodules
然后在Linux实行bin/startup.sh，就可以进去web界面
        2.然后解压到 /opt/installs下，不需要设置文件就可以启动他的web界面
        3.进去web界面，地址为

1. http://192.168.150.120:18686     
2. 端口号为虚拟机的ip地址
3. 账号密码为：admin

复制代码

        然后就能进入界面

三、mysql to mysql 的全量设置和数据演示

       前期预备，在虚拟机的mysql创建一个库（这里为testmysql）然后创建表，导入数据,大概100万调数据

1. drop table if exists t;
2. CREATE TABLE t(
3.                 id int NOT NULL AUTO_INCREMENT PRIMARY KEY comment '自增主键',
4.                 dept tinyint not null comment '部门id',
5.                 age tinyint not null comment '年龄',
6.                 name varchar(30) comment '用户名称',
7.                 create_time datetime not null comment '注册时间',
8.                 last_login_time datetime comment '最后登录时间'
9.                ) comment '测试表';
11. insert into testmysql values(1,1, 25, 'user_1', '2018-01-01 00:00:00', '2018-03-01 12:00:00');
13. set @i=1;
14. select * from t;
15. #==================此处拷贝反复执行，直接符合预想的数据量===================
16. #执行20次即2的20次方=1048576 条记录
17. #执行23次即2的23次方=8388608 条记录
18. #执行24次即2的24次方=16777216 条记录
19. #......
20. insert into t(dept, age, name, create_time, last_login_time)
21. select left(rand()*10,1) as dept,               #随机生成1~10的整数
22.        FLOOR(20+RAND() *(50 - 20 + 1)) as age,  #随机生成20~50的整数
23.         concat('user_',@i:=@i+1),               #按序列生成不同的name
24.         date_add(create_time,interval +@i*cast(rand()*100 as signed) SECOND), #生成有时间大顺序随机注册时间
25.         date_add(date_add(create_time,interval +@i*cast(rand()*100 as signed) SECOND), interval + cast(rand()*1000000 as signed) SECOND) #生成有时间大顺序的随机的最后登录时间
26. from t;
27. select count(1) from t;
28. #==================此处结束反复执行=====================

复制代码

然后再建一个数据库吸取数据test02（要提前建好表）

1. drop table if exists t1;
2. CREATE TABLE t1 (
3.                 id int NOT NULL AUTO_INCREMENT PRIMARY KEY comment '自增主键',
4.                 dept tinyint not null comment '部门id',
5.                 age tinyint not null comment '年龄',
6.                 name varchar(30) comment '用户名称',
7.                 create_time datetime not null comment '注册时间',
8.                 last_login_time datetime comment '最后登录时间'
9.                ) comment '测试表';

复制代码

创建好库后，需要给库单独一个用户授权，否则web界面链接不上去

1. CREATE USER 'ae86'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
2. GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'ae86'@'%';
3. GRANT SELECT ON test03.* TO 'ae86'@'%';
4. flush privileges;
7. grant process on *.* to ae86;
8. flush privileges;
9. show processlist

复制代码

如果第一步实行不了的话，需要修改mysql的密码规则，然后修改

再开始数据同步之前，需要设置mysql的设置
官方使用手册：
先容 - Wiki - Gitee.com
这里需要修改mysql的my.ini 或 my.cnf设置文件
我的my.cnf的位置在 /etc/my.cnf
然后把以下代码加进去

1. #log日志开启
2. log_bin=ON
3. #服务唯一ID
4. server_id=1
5. log-bin=mysql_bin
6. binlog-format=ROW
7. max_binlog_cache_size = 256M
8. max_binlog_size = 512M
9. expire_logs_days = 7
10. #监听同步的库, 多个库使用英文逗号“,”拼接
11. replicate-do-db=test03,testmysql,test02

复制代码

下一步进去web界面添加链接
添加ip和库名

分别将对应的库添加进去
然后添加驱动，创建链接

先择对应的库，然后选择对应的表

按照图片位置，一次点击，设置是默认设置
点击右上角齿轮，启动数据同步

在界面可以看见进度，也可以看监控界面

在监控界面可以看到之间的操作

任务乐成，这时间可以去MySQL中就可以看到已经同步的数据

四、mysql to mysql 的增量设置和演示

        和全量设置一样，但是有不同的是，在增量设置之前要把，mysql的binlog开启
此操作在  /etc/my.cnf 下参加

1. 3先查看是否开启
2. SHOW VARIABLES LIKE 'log_bin';
3. #开启
4. log_bin=ON

复制代码

数据预备
常见test03库，创建t3 和t3—ord表

1. drop table if exists t3;
2. CREATE TABLE t3 (
3.                 id int NOT NULL AUTO_INCREMENT PRIMARY KEY comment '自增主键',
4.                 dept tinyint not null comment '部门id',
5.                 age tinyint not null comment '年龄',
6.                 name varchar(30) comment '用户名称',
7.                 create_time datetime not null comment '注册时间',
8.                 last_login_time datetime comment '最后登录时间'
9.                ) comment '测试表';
11. insert into t3 values(1,1, 25, 'user_1', '2018-01-01 00:00:00', '2018-03-01 12:00:00');
12. insert into t3 values(2,2, 26, '测试同步', '2018-01-01 00:00:00', '2018-03-01 12:00:00');
13. insert into t3 values(3,3, 26, '测试同步', '2018-01-01 00:00:00', '2018-03-01 12:00:00');
14. insert into t3 values(4,4, 26, '测试同步', '2018-01-01 00:00:00', '2018-03-01 12:00:00');
15. select * from t3;
20. drop table if exists t3_ord;
21. CREATE TABLE t3_ord (
22.                 id int NOT NULL AUTO_INCREMENT PRIMARY KEY comment '自增主键',
23.                 dept tinyint not null comment '部门id',
24.                 age tinyint not null comment '年龄',
25.                 name varchar(30) comment '用户名称',
26.                 create_time datetime not null comment '注册时间',
27.                 last_login_time datetime comment '最后登录时间'
28.                ) comment '测试表';
29. insert into t3_ord values(1,1, 25, 'user_1', '2018-01-01 00:00:00', '2018-03-01 12:00:00');
30. select * from t3_ord;

复制代码

创建表之后进入web界面，添加驱动
按照顺序一次点点点

更改定时任务（我这里是5秒一次）

正则表达式

开启任务后，向t3添加数据后，t3的数据可以同步到t3—ord中

定时任务要手动关闭，不关闭会不停实行。


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。