sharding-jdbc 兼容 MybatisPlus的动态数据源

配景：之前的项目做读写分离的时候用的 MybatisPlus的动态数据做的，很多地方使用的@DS直接指定的读库大概写库实现的业务；随着表数据量越来越大，现在计划把比较大的表举行程度拆分，准备使用 ShardingJDBC实现，但是发现两者配合起来并不是那么顺利，网上大部分文章都是直接把整个Sharding的数据源当成MybatisPlus的一个数据源，那么在原本@DS上面指定的数据源就无法直接使用Sharding的分库等逻辑，以是我研究了一下源码，实现了这一逻辑，给后面有必要的朋侪提供一个案例，避免浪费不必要的时间

一.  版本选择

现在ShardingJDBC重要有两个版本，一个是ShardingJDBC早期版本，一个是ShardingSphere项目中的ShardingSphere-JDBC

• Sharding-JDBC：Sharding-JDBC 最初由当时的项目发起人在2016年发布。它最早作为一个轻量级的 JDBC 层解决方案，旨在解决数据库分片和读写分离的问题。
  
• ShardingSphere：ShardingSphere 项目是由 Sharding-JDBC 项目发展而来的，并在2018年正式发布。Apache ShardingSphere 致力于构建更为完整的分布式数据库管理生态系统，包含了 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar等多个组件。
  

现在独立的ShardingJDBC已经停更，使用到的最多的版本是 4.1.1

1. <dependency>
2.     <groupId>org.apache.shardingsphere</groupId>
3.     <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
4.     <version>4.1.1</version>
5. </dependency>

复制代码

ShardingSphere项目现在不停处于更新迭代中，ShardingSphere-JDBC 是通过ShardingJDBC 更新迭代过来的，在原有代码的基础举行了一些优化和新功能加入，对于开发者而言，重要是参数的设置发生了一些调整。但是参数的作用和设置方式和以前一样；
这里我为了方便以后会使用到新特性，我直接使用的是 ShardingSphere-JDBC 5.2.1
官方帮助文档：https://www.bookstack.cn/read/shardingsphere-5.1.0-zh/ecf18b21ab3f559c.md

1. <dependency>
2.         <groupId>org.apache.shardingsphere</groupId>
3.         <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
4.         <version>5.2.1</version>
5. </dependency>

复制代码

二. 项目依赖

案例全部的 Maven依赖如下：

1.     <dependencies>
2.         <dependency>
3.             <groupId>org.springframework.boot</groupId>
4.             <artifactId>spring-boot-starter-web</artifactId>
5.         </dependency>
7.         <dependency>
8.             <groupId>org.projectlombok</groupId>
9.             <artifactId>lombok</artifactId>
10.         </dependency>
12.         <dependency>
13.             <groupId>com.zaxxer</groupId>
14.             <artifactId>HikariCP</artifactId>
15.             <version>3.4.5</version>
16.         </dependency>
18.         <dependency>
19.             <groupId>com.baomidou</groupId>
20.             <artifactId>mybatis-plus-boot-starter</artifactId>
21.             <version>3.4.0</version>
22.         </dependency>
24.         
25.         <dependency>
26.             <groupId>com.baomidou</groupId>
27.             <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
28.             <version>3.3.2</version>
29.         </dependency>
31.         <dependency>
32.             <groupId>mysql</groupId>
33.             <artifactId>mysql-connector-java</artifactId>
34.             <version>8.0.33</version>
35.         </dependency>
37.         
38.         <dependency>
39.             <groupId>org.apache.shardingsphere</groupId>
40.             <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
41.             <version>5.2.1</version>
42.             <exclusions>
43.                 <exclusion>
44.                     <groupId>org.yaml</groupId>
45.                     <artifactId>snakeyaml</artifactId>
46.                 </exclusion>
47.             </exclusions>
48.         </dependency>
49.         
50.         <dependency>
51.             <groupId>org.yaml</groupId>
52.             <artifactId>snakeyaml</artifactId>
53.             <version>1.33</version>
54.         </dependency>
56.         <dependency>
57.             <groupId>org.springframework.boot</groupId>
58.             <artifactId>spring-boot-starter-test</artifactId>
59.             <scope>test</scope>
60.         </dependency>
61.     </dependencies>

复制代码

三. 参数设置

application.yml 设置

1. server:
2.   port: 8080
4. mybatis-plus:
5.   mapper-locations: classpath*:mybatis/*.xml
6.   type-aliases-package: com.game.sharding.dto
7.   configuration:
8.     map-underscore-to-camel-case: false
9.     log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
11. spring:
12.   application:
13.     name: sharding-jdbc-test
14.   sharding-sphere:
15.     datasource:
16.       names: master,write,read,read2
17.       master:
18.         type: com.zaxxer.hikari.HikariDataSource
19.         driver-class-name: com.mysql.cj.jdbc.Driver
20.         jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
21.         username: root
22.         password: 123456
23.       write:
24.         type: com.zaxxer.hikari.HikariDataSource
25.         driver-class-name: com.mysql.cj.jdbc.Driver
26.         jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
27.         username: root
28.         password: 123456
29.       read:
30.         type: com.zaxxer.hikari.HikariDataSource
31.         driver-class-name: com.mysql.cj.jdbc.Driver
32.         jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev_read?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
33.         username: root
34.         password: 123456
35.       read2:
36.         type: com.zaxxer.hikari.HikariDataSource
37.         driver-class-name: com.mysql.cj.jdbc.Driver
38.         jdbc-url: jdbc:mysql://127.0.0.1:3306/game_dev_read?characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&autoReconnect=true&serverTimezone=Asia/Shanghai
39.         username: root
40.         password: 123456
41.     rules:
42.       sharding:
43.         tables:
44.           team_msg:
45.                   ## 这里的customer-ds是下面配置的读写分离的数据源名称
46.             actual-data-nodes: customer-ds.team_msg_${0..1}
47.             table-strategy:
48.               standard:
49.                 sharding-column: id
50.                 sharding-algorithm-name: msg-id # 对应下面的sharding-algorithms
51.         sharding-algorithms:
52.           ## 注意这里名称(例如msg-id)不能用下划线，会加载不了下面的参数导致启动报错
53.           msg-id:
54.             type: INLINE
55.             props:
56.                         ## 使用id取模算法
57.               algorithm-expression: team_msg_${id % 2}
58.          ## 读写分离相关                  
59.       readwrite-splitting:
60.         data-sources:
61.           customer-ds:
62.             load-balancer-name: customer-lb
63.             static-strategy:
64.               write-data-source-name: master
65.               read-data-source-names: read,read2,write
66.         load-balancers:
67.             customer-lb:
68.                             ## 使用自定义的复杂均衡算法
69.                 type: CUSTOM
70.     props:
71.       # 显示处理之后的真实sql
72.       sql-show: true

复制代码

四. 代码设置

最关键的设置就是必要把MybatisPlus的数据源注册为使用 shardingsphere-jdbc 的数据源，并且保证数据源的名称和原来MybatisPlus的数据源同等，shardingSphereDataSource里面实在有一个Map保存了application.yml中所有设置的数据源，这里重要是为了方便后续使用@DS做动态数据源切换，以是把同一个ShardingSphere的数据库注册为4个动态数据源，避免使用@DS找不到对应的数据源；

1. import com.baomidou.dynamic.datasource.DynamicRoutingDataSource;
2. import com.baomidou.dynamic.datasource.provider.AbstractDataSourceProvider;
3. import com.baomidou.dynamic.datasource.provider.DynamicDataSourceProvider;
4. import com.baomidou.dynamic.datasource.spring.boot.autoconfigure.DynamicDataSourceAutoConfiguration;
5. import com.baomidou.dynamic.datasource.spring.boot.autoconfigure.DynamicDataSourceProperties;
6. import org.apache.commons.lang3.StringUtils;
7. import org.apache.shardingsphere.driver.jdbc.adapter.AbstractDataSourceAdapter;
8. import org.springframework.beans.factory.annotation.Autowired;
9. import org.springframework.beans.factory.annotation.Value;
10. import org.springframework.boot.SpringBootConfiguration;
11. import org.springframework.boot.autoconfigure.AutoConfigureBefore;
12. import org.springframework.context.annotation.Bean;
13. import org.springframework.context.annotation.Configuration;
14. import org.springframework.context.annotation.Lazy;
15. import org.springframework.context.annotation.Primary;
17. import javax.annotation.Resource;
18. import javax.sql.DataSource;
19. import java.util.Arrays;
20. import java.util.HashMap;
21. import java.util.Map;
23. @Configuration
24. @AutoConfigureBefore({DynamicDataSourceAutoConfiguration.class, SpringBootConfiguration.class})
25. public class MyDataSourceConfiguration {
27.     /**
28.      * mybatisplus 动态数据源配置项
29.      */
30.     @Autowired
31.     private DynamicDataSourceProperties properties;
33.     /**
34.      * shardingjdbc的数据源
35.      */
36.     @Lazy
37.     @Resource(name = "shardingSphereDataSource")
38.     private AbstractDataSourceAdapter shardingSphereDataSource;
40.     @Value("${spring.sharding-sphere.datasource.names}")
41.     private String shardingDataSourceNames;
43.     /**
44.      * 注册动态数据源  这里非常关键，因为我们需要用到@DS注解配置动态选择数据源，同上又要让选择的数据源使用shardingjdbc的数据源
45.      * 所以，这里需要动态的把所有的数据源都注册为  shardingjdbc的数据源
46.      */
47.     @Bean
48.     public DynamicDataSourceProvider dynamicDataSourceProvider() {
49.         if (StringUtils.isBlank(shardingDataSourceNames)) {
50.             throw new RuntimeException("配置 spring.sharding-sphere.datasource.names 不能为空");
51.         }
52.         String[] names = shardingDataSourceNames.split(",");
53.         return new AbstractDataSourceProvider() {
54.             @Override
55.             public Map<String, DataSource> loadDataSources() {
56.                 Map<String, DataSource> dataSourceMap = new HashMap<>();
57.                 Arrays.stream(names).forEach(name -> dataSourceMap.put(name, shardingSphereDataSource));
58.                 return dataSourceMap;
59.             }
60.         };
61.     }
63.     /**
64.      * 将动态数据源设置为首选数据源
65.      */
66.     @Primary
67.     @Bean
68.     public DataSource dataSource(DynamicDataSourceProvider dynamicDataSourceProvider) {
69.         DynamicRoutingDataSource dataSource = new DynamicRoutingDataSource();
70.         dataSource.setPrimary(properties.getPrimary());
71.         dataSource.setStrict(properties.getStrict());
72.         dataSource.setStrategy(properties.getStrategy());
73.         dataSource.setProvider(dynamicDataSourceProvider);
74.         dataSource.setP6spy(properties.getP6spy());
75.         dataSource.setSeata(properties.getSeata());
76.         return dataSource;
77.     }
78. }

复制代码

五. 自定义ShardingSphere中的复杂均衡算法

shardingsphere中的负载均衡必要实现ReadQueryLoadBalanceAlgorithm接口并在getType方法中返回自定义的算法名称，官方自带的又RoundRobinReadQueryLoadBalanceAlgorithm，RandomReadQueryLoadBalanceAlgorithm等，这里我们必须自定义算法才能兼容@DS注解实现自由切换数据源；

ShardingSphere使用的是SPI机制加载的，对应的加载源码部分如下：

以是如果我们要让自定义的ReadQueryLoadBalanceAlgorithm类生效，必要在项目中的 META-INF的services文件夹中创建org.apache.shardingsphere.readwritesplitting.spi.ReadQueryLoadBalanceAlgorithm 文件，并且把自定义的类填入该文件中
源码中的设置如下：

那么我们按照源码的设置直接在本身的项目中创建即可

最后自定义的CustomLoadBalanceAlgorithm 实现

1. public class CustomLoadBalanceAlgorithm implements ReadQueryLoadBalanceAlgorithm {
2.     private Properties props;
4.     public CustomLoadBalanceAlgorithm() {
6.     }
8.     @Override
9.     public void init(Properties props) {
10.         this.props = props;
11.     }
13.     /**
14.      * 获取数据源
15.      *
16.      * @param name  数据源名称（ShardingJDBC使用的）
17.      * @param writeDataSourceName 写数据源名称
18.      * @param readDataSourceNames 所有配置的复杂均衡中读数据源名称
19.      * @param context 事务上下文对象，可以获取context.isInTransaction() 判断是否需要事务，可通过这个来判断是否使用 写数据源
20.      * @return java.lang.String
21.      */
22.     @Override
23.     public String getDataSource(String name, String writeDataSourceName, List<String> readDataSourceNames, TransactionConnectionContext context) {
24.         // 获取当前MybatisPlus指定的数据源
25.         String dsKey = DynamicDataSourceContextHolder.peek();
26.         if (StringUtils.isNotBlank(dsKey)) {
27.             if (writeDataSourceName.equals(dsKey)) {
28.                 return dsKey;
29.             }
30.             if (readDataSourceNames.contains(dsKey)) {
31.                 return dsKey;
32.             }
33.             throw new RuntimeException("@DS 配置错误，当前数据源[" + dsKey + "]不在SharingJDBC数据源列表[" + readDataSourceNames + "]中");
34.         }
35.         return writeDataSourceName;
36.     }
38.     @Override
39.     public String getType() {
40.         return "CUSTOM";
41.     }
43.     @Override
44.     public boolean isDefault() {
45.         return true;
46.     }
48.     @Override
49.     @Generated
50.     public Properties getProps() {
51.         return this.props;
52.     }
53. }

复制代码

那么此时你的ShardingSphere就已经完全适配之前MybatisPlus动态数据源了

六. 源码

Gitee: https://gitee.com/luowenjie98/sharing-sphere-mybatisplus-demo
如果觉得对你有帮助，请给我点一个star，非常感谢 ！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。