IT评测·应用市场-qidao123.com

标题: 利用Docker搭建一套Mycat2+MySQL8一主一从、读写分离的最简朴集群（保姆教 [打印本页]

作者: 灌篮少年 时间: 2024-11-7 13:53
标题: 利用Docker搭建一套Mycat2+MySQL8一主一从、读写分离的最简朴集群（保姆教
1、Mycat介绍

1.1、mycat简介

Mycat是一套布式数据库中间件(虚拟数据库类)，它本身并不存储数据库。
其原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发往后端的真实数据库，并将返回的结果做得当的处置惩罚，最终再返回给用户。

1.2、mycat重要概念

逻辑库schema、逻辑表：虚拟的逻辑上的库表
业务开发职员通常在实际应用中并不需要知道中间件的存在，只需要关注数据库，所以数据库中间件可以被当作一个或多个数据库集群构成的逻辑库；逻辑库，与MySQL中的Database（数据库）对应，⼀个逻辑库中定义了所包括的Table。
全局表
数据源：真实的mysql数据库
集群设置json

1.3、Mycat1.x与Mycat2功能对比

功能1.6版本2 版本多语句不支持支持blob值支持一部分支持全局二级索引不支持支持任意跨库join(包含复杂查询)catlet支持支持分片表与分片表JOIN查询ER表支持支持关联子查询不支持支持一部分分库同时分表不支持支持存储过程支持固定情势的支持更多支持逻辑视图不支持支持支持物理视图支持支持批量插入不支持支持实行计划管理不支持支持路由注释支持支持集群功能支持支持更多集群类型主动hash分片算法不支持支持支持第三方监控支持mycat-web支持普罗米斯,kafka日记等监控流式合拼结果集支持支持范围查询支持支持单表映射物理表不支持支持XA事务弱XA支持,事务主动规复支持MySQL8需要更改mysql8的服务器设置支持支持虚拟表不支持支持joinClustering不支持支持union all语法不支持支持BKAJoin不支持支持优化器注释不支持支持ER表支持支持全局序列号支持支持保存点不支持支持离线迁徙支持支持（实行）增量迁徙CRC32算法支持BINLOG追平（实行）安全停机不支持支持（实行）HAProxy协议不支持支持会话粘滞update后select会粘滞update后select会粘滞且支持设置时间全局表插入支持全局序列号不支持支持全局表插入支持主表插入自增结果作为序列号不支持支持外部调用的分片算法不支持但可定制支持 Mycat1.x跟Mycat2的设置完全不一样了。
1.2、主从复制原理

重点理解：通过三个线程的运行过程原理

- 主服务将数据的更新纪录保存到二进制日记–主服务器线程
- 从服务将主服务的二进制日记复制到本地中继日记–从服务IO线程
- 从服务读取中继日记，更新本地数据–从服务SQL线程

2、前提准备

两台Linux服务器，设置为：8c32g5m/ CentOS Linux release 7.9.2009
都安装docker，docker版本信息如下：
此中一台安装设置好jdk1.8 java环境，因为mycat是用java语言编写的，运行需要jdk环境。

3、集群规划

主机名公网ip内网所在端标语脚色用户名暗码newvts-a39.xxx.xxx.232192.168.1.938066mycatrootxxxxxxxxnewvts-a39.xxx.xxx.232192.168.1.933307masterrootxxxxxxxxnewvts-b39.xxx.xxx.190192.168.1.943308slaverootxxxxxxxx 此中 newvts-a这台机子安装mycat2和mysql8， newvts-b只安装mysql8。
4、安装和设置mysql主从复制

4.1、master节点安装mysql8容器

拉取mysql8镜像。

#docker拉取mysql8镜像
docker pull mysql:8.0.25

复制代码

master节点安装mysql，容器名称为：mysql-vts-master1

docker run -p 3307:3306 --name mysql-vts-master1 \
-v /mydata/mysql-vts-master/log:/var/log/mysql \
-v /mydata/mysql-vts-master/data:/var/lib/mysql \
-v /mydata/mysql-vts-master/conf:/etc/mysql \
-v /mydata/mysql-vts-master/mysql-files:/var/lib/mysql-files \
-e MYSQL_ROOT_PASSWORD=xxxxxxx \
-d mysql:8.0.25

复制代码

修改/mydata/mysql-vts-master/conf目录下的my.cnf，注意server_id为101。

vim /mydata/mysql-vts-master/conf/my.cnf

复制代码

[mysqld]
## 设置server_id，同一局域网中需要唯一
server_id=101
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql
## 开启二进制日志功能
log-bin=mall-mysql-bin
## 设置二进制日志使用内存大小（事务）
binlog_cache_size=1M
## 设置使用的二进制日志格式（mixed,statement,row）
binlog_format=mixed
## 二进制日志过期清理时间。默认值为0，表示不自动清理。
expire_logs_days=7
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062

复制代码

重启mysq-vts-master1容器

docker restart mysql-vts-master1

复制代码

master节点的mysql数据库中新建一个数据同步用户

#进入容器
docker exec -it mysql-vts-master1 /bin/bash
mysql -uroot -p
xxxxx
#新建一个数据同步用户，用户名为vts_slave
CREATE USER 'vts_slave'@'%' IDENTIFIED BY 'xxxxxx';
#给这个用户授予权限
GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'vts_slave'@'%';
#考虑到我的MySQL8 ，密码密码必须修改为mysql_native_password的plugin才能被连接，不然无法连接
ALTER USER 'vts_slave'@'%' IDENTIFIED WITH mysql_native_password BY 'xxxxxx';

复制代码

通过navicat毗连master-mysql

测试毗连乐成！

4.2、slave节点安装mysql8容器

运行slave节点mysql8容器，端标语为3308；容器名：mysql-vts-slave1。

docker run -p 3308:3306 --name mysql-vts-slave1 \
-v /mydata/mysql-vts-slave/log:/var/log/mysql \
-v /mydata/mysql-vts-slave/data:/var/lib/mysql \
-v /mydata/mysql-vts-slave/conf:/etc/mysql \
-v /mydata/mysql-vts-slave/mysql-files:/var/lib/mysql-files \
-e MYSQL_ROOT_PASSWORD=xxxx \
-d mysql:8.0.25

复制代码

修改/mydata/mysql-vts-slave/conf目录下的my.cnf，注意server_id为102

vim /mydata/mysql-vts-slave/conf/my.cnf

复制代码

[mysqld]
## 设置server_id，同一局域网中需要唯一
server_id=102
## 指定不需要同步的数据库名称
binlog-ignore-db=mysql
## 开启二进制日志功能，以备Slave作为其它数据库实例的Master时使用
log-bin=mall-mysql-slave1-bin
## 设置二进制日志使用内存大小（事务）
binlog_cache_size=1M
## 设置使用的二进制日志格式（mixed,statement,row）
binlog_format=mixed
## 二进制日志过期清理时间。默认值为0，表示不自动清理。
expire_logs_days=7
## 跳过主从复制中遇到的所有错误或指定类型的错误，避免slave端复制中断。
## 如：1062错误是指一些主键重复，1032错误是因为主从数据库数据不一致
slave_skip_errors=1062
## relay_log配置中继日志
relay_log=mall-mysql-relay-bin
## log_slave_updates表示slave将复制事件写进自己的二进制日志
log_slave_updates=1
## slave设置为只读（具有super权限的用户除外）
read_only=1

复制代码

重启mysq-vts-slave1

docker restart mysql-vts-slave1

复制代码

navicat毗连slave节点的mysql8
测试毗连乐成！！

4.2、设置主从复制

进入主数据库 master容器，查看日记文件信息和位置标号。

#进入主数据库 master容器
docker exec -it mysql-vts-master1 /bin/bash
mysql -uroot -p
# xxxxxx
#在主数据库master容器中查看主从状态
show master status;
#记着下面两个值
# File mall-mysql-bin.000001
# Postion 1005

复制代码

进入从数据库 slave容器 .在从数据库内里设置主从复制

#进入主数据库 slave
docker exec -it mysql-vts-slave1 /bin/bash
mysql -uroot -p
# xxxxxx
#在从数据库里面配置主从复制
change master to master_host='192.168.1.93', master_user='vts_slave', master_password='xxxxx', master_port=3307, master_log_file='mall-mysql-bin.000001', master_log_pos=1005, master_connect_retry=30;

复制代码

在从数据库slave中开启主从同步、查看主从状态

#在从数据库中查看主从同步状态:
show slave status \G
#在从数据库中开启主从同步
start slave;
#在从数据库中查看主从同步状态:
show slave status \G

复制代码

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

复制代码

这两个线程为yes，证明主从复制设置乐成。
4.3、测试主从复制设置

在主数据库中创建库和表，从数据库中也相应主动创建跟主数据库一样的库和表；
主数据库中的表操作更新，删除，新增时，从数据库中的表也主动更新；
从数据库操作更新，删除，新增操作时，主数据库不会发生变化。

5、安装mycat2和设置读写分离集群

5.1、docker摆设mycat2

mycat2镜像我使用的是docker仓库中的zhangyx1619/mycat2:mysql-1.2.1，再次感谢张同学分享的mycat2镜像，我用着很不错。

#拉取镜像
docker pull zhangyx1619/mycat2:mysql-1.2.1

复制代码

#查看镜像信息，主要查看环境变量的信息
docker inspect zhangyx1619/mycat2:mysql-1.2.1

复制代码

拥有以下环境变量需要根据实际环境进行设置

"DATA_SOURCE_URL=jdbc:mysql://127.0.0.1:6606/mysql?useUnicode=true&serverTimezone=Asia/Shanghai&characterEncoding=UTF-8",
"DATA_SOURCE_USER=mycat",
"DATA_SOURCE_PASSWORD=!@#123",
"MYCAT_ROOT_PASSWORD=!@#123",
"MYCAT_HOME=/usr/local/mycat"

复制代码

这里我们先通过一下方式运行一个mycat2容器，然后进入此容器拷贝设置文件目录到宿主机

#首先运行一个mycat容器
docker run -d -p 8066:8066 -e DATA_SOURCE_URL=jdbc:mysql://192.168.1.93:3307/mysql -e DATA_SOURCE_USER=root -e DATA_SOURCE_PASSWORD=xxxxx -e MYCAT_ROOT_PASSWORD=xxxxx --name mycat2 zhangyx1619/mycat2:mysql-1.2.1
#进入容器
docker exec -it 自己的容器id /bin/bash
#拷贝容器内部的mycat配置目录到宿主机
docker cp 03f518d53daf:/usr/local/mycat /usr/local/mycat2
#查看宿主机mycat2目录下的文件，确保conf logs两个文件夹的存在
#删除刚运行的容器
docker rm -f 03f518d53daf
#挂载数据卷（mycat2相应目录）重新运行zhangyx1619/mycat2:mysql-1.2.1，命令如下：
docker run -d -p 8066:8066 -e DATA_SOURCE_URL=jdbc:mysql://192.168.1.93:3307/mysql -e DATA_SOURCE_USER=root -e DATA_SOURCE_PASSWORD=xxxxx -e MYCAT_ROOT_PASSWORD=xxxxx -v /usr/local/mycat2/conf/:/usr/local/mycat/conf/ -v /usr/local/mycat2/logs/:/usr/local/mycat/logs/ --name mycat2 zhangyx1619/mycat2:mysql-1.2.1
#查看运行的容器
docker ps -a

复制代码

mycat2容器运行了，再次查看logs下的wrapper.log

tail -f /usr/local/mycat2/logs/wrapper.log

复制代码

显示successful standlone，证明mycat2启动乐成！
5.2、navicat毗连mycat2

查看数据库，mycat2中能看到逻辑库了

5.3、设置主从集群信息实现读写分离

mycat2中创建逻辑库

-- 创建逻辑库
CREATE DATABASE vts_info_sys;

复制代码

此时查看 /usr/local/mycat2/conf/schemas/ 发现mycat主动创建了设置文件vts_info_sys.schema.json

ll /usr/local/mycat2/conf/schemas/

复制代码

customTables放置的是mycat默认的表的设置
globalTables放置的是全局表的设置
shardingTables放置分片表的设置
normalTables放置普通表的设置

修改逻辑库json

-- 修改逻辑库指定vts_info_sys逻辑库默认的targetName, mycat会自动加载vts_info_sys下已经有的物理表或者视图作为单表.
/*+ mycat:createSchema{
"customTables":{},
"globalTables":{},
"normalTables":{},
"schemaName":"vts_info_sys",
"shardingTables":{},
"targetName":"prototype"
} */;

复制代码

创建数据源、查看数据源

#添加数据源
/*+mycat:createDataSource{"name":"vts_master1","url":"jdbc:mysql://192.168.1.93:3307/?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true","user":"root","password":"xxxx" } */;
/*+mycat:createDataSource{"name":"vts_slave1","url":"jdbc:mysql://192.168.1.94:3308/?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true","user":"root","password":"xxxx" } */;
#查看数据源
/*+ mycat:showDataSources{} */;

复制代码