一种实现Spring动态数据源切换的方法

徐锦洪  金牌会员 | 2023-6-19 16:18:29 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 838|帖子 838|积分 2514

1 目标

不在现有查询代码逻辑上做任何改动，实现dao维度的数据源切换（即表维度）
2 使用场景

节约bdp的集群资源。接入新的宽表时，通常uat验证后就会停止集群释放资源，在对应的查询服务器uat环境时需要查询的是生产库的表数据（uat库表因为bdp实时任务停止，没有数据落入），只进行服务器配置文件的改动而无需进行代码的修改变更，即可按需切换查询的数据源。
2.1 实时任务对应的集群资源


2.2 实时任务产生的数据进行存储的两套环境


2.3 数据使用系统的两套环境（查询展示数据）


即需要在zhongyouex-bigdata-uat中查询生产库的数据。
3 实现过程

3.1 实现重点


  • org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource
    spring提供的这个类是本次实现的核心，能够让我们实现运行时多数据源的动态切换，但是数据源是需要事先配置好的，无法动态的增加数据源。
  • Spring提供的Aop拦截执行的mapper，进行切换判断并进行切换。
注：另外还有一个就是ThreadLocal类，用于保存每个线程正在使用的数据源。
3.2 AbstractRoutingDataSource解析
  1. public abstract class AbstractRoutingDataSource extends AbstractDataSource
  2. implements InitializingBean{
  3.     @Nullable
  4.     private Map<Object, Object> targetDataSources;
  6.     @Nullable
  7.     private Object defaultTargetDataSource;
  9.     @Override
  10.     public Connection getConnection() throws SQLException {
  11.         return determineTargetDataSource().getConnection();
  12.     }
  13.     protected DataSource determineTargetDataSource() {
  14.         Assert.notNull(this.resolvedDataSources, "DataSource router not initialized");
  15.         Object lookupKey = determineCurrentLookupKey();
  16.         DataSource dataSource = this.resolvedDataSources.get(lookupKey);
  17.         if (dataSource == null && (this.lenientFallback || lookupKey == null)) {
  18.             dataSource = this.resolvedDefaultDataSource;
  19.         }
  20.         if (dataSource == null) {
  21.             throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]");
  22.         }
  23.         return dataSource;
  24.     }
  25.     @Override
  26.     public void afterPropertiesSet() {
  27.         if (this.targetDataSources == null) {
  28.             throw new IllegalArgumentException("Property 'targetDataSources' is required");
  29.         }
  30.         this.resolvedDataSources = new HashMap<>(this.targetDataSources.size());
  31.         this.targetDataSources.forEach((key, value) -> {
  32.             Object lookupKey = resolveSpecifiedLookupKey(key);
  33.             DataSource dataSource = resolveSpecifiedDataSource(value);
  34.             this.resolvedDataSources.put(lookupKey, dataSource);
  35.         });
  36.         if (this.defaultTargetDataSource != null) {
  37.             this.resolvedDefaultDataSource = resolveSpecifiedDataSource(this.defaultTargetDataSource);
  38.         }
  39.     }
复制代码
从上面源码可以看出它继承了AbstractDataSource，而AbstractDataSource是javax.sql.DataSource的实现类，拥有getConnection()方法。获取连接的getConnection()方法中，重点是determineTargetDataSource()方法，它的返回值就是你所要用的数据源dataSource的key值，有了这个key值，resolvedDataSource（这是个map,由配置文件中设置好后存入targetDataSources的，通过targetDataSources遍历存入该map）就从中取出对应的DataSource，如果找不到，就用配置默认的数据源。
看完源码，我们可以知道，只要扩展AbstractRoutingDataSource类，并重写其中的determineCurrentLookupKey()方法返回自己想要的key值，就可以实现指定数据源的切换！
3.3 运行流程


  • 我们自己写的Aop拦截Mapper
  • 判断当前执行的sql所属的命名空间，然后使用命名空间作为key读取系统配置文件获取当前mapper是否需要切换数据源
  • 线程再从全局静态的HashMap中取出当前要用的数据源
  • 返回对应数据源的connection去做相应的数据库操作
3.4 不切换数据源时的正常配置
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <beans xmlns="http://www.springframework.org/schema/beans"
  3.        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"
  4.        xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">
  7.     <bean id="dataSourceClickhousePinpin"  destroy-method="close" lazy-init="true">
  8.         <property name="url" value="${clickhouse.jdbc.pinpin.url}" />
  9.     </bean>
  11.     <bean id="singleSessionFactoryPinpin" >
  12.         
  13. <property name="dataSource" ref="dataSourceClickhousePinpin" />
  14.     </bean>
  16. </beans>
复制代码
3.5 进行动态数据源切换时的配置
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <beans xmlns="http://www.springframework.org/schema/beans"
  3.        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"
  4.        xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">
  7.     <bean id="dataSourceClickhousePinpin"  destroy-method="close" lazy-init="true">
  8.         <property name="url" value="${clickhouse.jdbc.pinpin.url}" />
  9.     </bean>
  11.     <bean id="singleSessionFactoryPinpin" >
  12.         
  13. <property name="dataSource" ref="dataSourceClickhousePinpin" />
  14.     </bean>
  16. </beans><?xml version="1.0" encoding="UTF-8"?>
  17. <beans xmlns="http://www.springframework.org/schema/beans"
  18.        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"
  19.        xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">
  22.     <bean id="dataSourceClickhousePinpin"  destroy-method="close" lazy-init="true">
  23.         <property name="url" value="${clickhouse.jdbc.pinpin.url}" />
  24.     </bean>
  26.     <bean id="singleSessionFactoryPinpin" >
  27.         
  28. <property name="dataSource" ref="dataSourceClickhousePinpin" />
  29.     </bean>
  31. </beans><?xml version="1.0" encoding="UTF-8"?>
  32. <beans xmlns="http://www.springframework.org/schema/beans"
  33.        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"
  34.        xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">
  37.     <bean id="dataSourceClickhousePinpin"  destroy-method="close" lazy-init="true">
  38.         <property name="url" value="${clickhouse.jdbc.pinpin.url}" />
  39.     </bean>
  41.     <bean id="singleSessionFactoryPinpin" >
  42.         
  43. <property name="dataSource" ref="dataSourceClickhousePinpin" />
  44.     </bean>
  46. </beans><?xml version="1.0" encoding="UTF-8"?>
  47. <beans xmlns="http://www.springframework.org/schema/beans"
  48.        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"
  49.        xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">
  52.     <bean id="dataSourceClickhousePinpin"  destroy-method="close" lazy-init="true">
  53.         <property name="url" value="${clickhouse.jdbc.pinpin.url}" />
  54.     </bean>
  56.     <bean id="singleSessionFactoryPinpin" >
  57.         
  58. <property name="dataSource" ref="dataSourceClickhousePinpin" />
  59.     </bean>
  61. </beans>   
复制代码
核心是AbstractRoutingDataSource，由spring提供，用来动态切换数据源。我们需要继承它，来进行操作。这里我们自定义的com.zhongyouex.bigdata.common.aop.MultiDataSource就是继承了AbstractRoutingDataSource
  1. package com.zhongyouex.bigdata.common.aop;
  3. import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;
  4. /**
  5. * @author: cuizihua
  6. * @description: 动态数据源
  7. * @date: 2021/9/7 20:24
  8. * @return
  9. */
  10. public class MultiDataSource extends AbstractRoutingDataSource {
  12.     /* 存储数据源的key值，InheritableThreadLocal用来保证父子线程都能拿到值。
  13.      */
  14.     private static final ThreadLocal<String> dataSourceKey = new InheritableThreadLocal<String>();
  16.     /**
  17.      * 设置dataSourceKey的值
  18.      *
  19.      * @param dataSource
  20.      */
  21.     public static void setDataSourceKey(String dataSource) {
  22.         dataSourceKey.set(dataSource);
  23.     }
  25.     /**
  26.      * 清除dataSourceKey的值
  27.      */
  28.     public static void toDefault() {
  29.         dataSourceKey.remove();
  30.     }
  32.     /**
  33.      * 返回当前dataSourceKey的值
  34.      */
  35.     @Override
  36.     protected Object determineCurrentLookupKey() {
  37.         return dataSourceKey.get();
  38.     }
  39. }
复制代码
3.6 AOP代码
  1. package com.zhongyouex.bigdata.common.aop;
  2. import com.zhongyouex.bigdata.common.util.LoadUtil;
  3. import lombok.extern.slf4j.Slf4j;
  4. import org.aspectj.lang.JoinPoint;
  5. import org.aspectj.lang.reflect.MethodSignature;
  6. import java.lang.reflect.Method;
  8. /**
  9. * 方法拦截  粒度在mapper上(对应的sql所属xml)
  10. * @author cuizihua
  11. * @desc 切换数据源
  12. * @create 2021-09-03 16:29
  13. **/
  14. @Slf4j
  15. public class MultiDataSourceInterceptor {
  16. //动态数据源对应的key
  17.     private final String otherDataSource = "dataSourceClickhouseOther";
  19.     public void beforeOpt(JoinPoint mi) {
  20. //默认使用默认数据源
  21.         MultiDataSource.toDefault();
  22.         //获取执行该方法的信息
  23.         MethodSignature signature = (MethodSignature) mi.getSignature();
  24.         Method method = signature.getMethod();
  25.         String namespace = method.getDeclaringClass().getName();
  26. //本项目命名空间统一的规范为xxx.xxx.xxxMapper
  27.         namespace = namespace.substring(namespace.lastIndexOf(".") + 1);
  28. //这里在配置文件配置的属性为xxxMapper.ck.switch=1 or 0  1表示切换
  29.         String isOtherDataSource = LoadUtil.loadByKey(namespace, "ck.switch");
  30.         if ("1".equalsIgnoreCase(isOtherDataSource)) {
  31.             MultiDataSource.setDataSourceKey(otherDataSource);
  32.             String methodName = method.getName();
  33.         }
  34.     }
  35. }
复制代码
3.7 AOP代码逻辑说明

通过org.aspectj.lang.reflect.MethodSignature可以获取对应执行sql的xml空间名称，拿到sql对应的xml命名空间就可以获取配置文件中配置的属性决定该xml是否开启切换数据源了。
3.8 对应的aop配置
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <beans xmlns="http://www.springframework.org/schema/beans"
  3.        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tx="http://www.springframework.org/schema/tx"
  4.        xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">
  7.     <bean id="dataSourceClickhousePinpin"  destroy-method="close" lazy-init="true">
  8.         <property name="url" value="${clickhouse.jdbc.pinpin.url}" />
  9.     </bean>
  11.     <bean id="singleSessionFactoryPinpin" >
  12.         
  13. <property name="dataSource" ref="dataSourceClickhousePinpin" />
  14.     </bean>
  16. </beans>        
复制代码
以上就是整个实现过程，希望能帮上有需要的小伙伴
作者：京东物流 崔子华
来源：京东云开发者社区

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

徐锦洪

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

存储 挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表