数据安全之数据库字段加解密检索和前端返回脱敏？看看我这个最强解决方案 ...

数据安全之数据库字段加解密检索和前端返回脱敏？看看我这个最强解决方案

前言

数据安全一直是我们老生常谈的话题了,随着国产化的日渐推进和数字化信息改革,数据安全越来越被人们所重视。数据库作为存储、管理和检索数据的核心基础设施，其中可能包含着大量的敏感信息，如个人手机号、身份证号码、银行账户、家庭地址等信息。为了保障这些敏感信息在部分情况下被明文泄露和未授权访问等恶意行为的侵害，数据库字段敏感信息加密变得至关重要。但是数据库列一旦加密那么就牵扯到很多问题。如何对数据库字段进行加密变得非常重要,目前主要有两个解决方案:

• 数据库自带加密函数或者使用数据库自定义函数方法进行加密解密
  
• 使用应用代码比如java、c#等语言自带的加密解密函数库
  

为了助力国产化的推进下面我将用solon + easy-query对其进行实践演练和原理进行解析。
当前项目地址demo https://gitee.com/xuejm/solon-encrypt
方法优点缺点数据库函数对实现简单,占用磁盘空间少,由数据库自行实现模糊搜索效率低,与数据库函数绑定,兼容性差,仅可以使用数据库提供的函数或者自行编程数据库支持的加密解密java代码实现复杂,占用磁盘空间多模糊搜索效率高,不与数据库函数绑定,兼容性好,可以自行扩展实现国密等对称非对称加密solon

文档地址 https://xuejm.gitee.io/easy-query-doc/
GITHUB地址 https://github.com/noear/solon
GITEE地址 https://gitee.com/noear/solon
easy-qeury

文档地址 https://xuejm.gitee.io/easy-query-doc/
GITHUB地址 https://github.com/xuejmnet/easy-query
GITEE地址 https://gitee.com/xuejm/easy-query
数据库处理

这边我们以mysql为例实现数据库函数的加密解密,对数据库列进行数据保护处理。
方法默认值to_base64(AES_ENCRYPT('手机号值'),'秘钥')将数据进行aes加密,然后进行base64编码AES_DECRYPT(from_base64('手机号列'),'秘钥')将数据进行base64解码,然后进行aes进行解密这两个方法其实很好理解,就是通过调用数据库函数让其在数据库层面就实现了加密和解密,应用程序获取到的数据本身就是解密好了的,但是缺点就是如果需要支持列的like搜索性能会变得非常低下,因为需要对加密列进行AES_DECRYPT(from_base64('手机号列'),'秘钥')的解密处理

1. select id,name,AES_DECRYPT(from_base64('phone'),'秘钥') as `phone` from user where AES_DECRYPT(from_base64('phone'),'秘钥') like '%567%'

复制代码

当数据量少的时候那么数据库是比较轻松并且相对性能是可以接受的,但是随着数据量的越来越大,这种sql会慢慢变成瓶颈,那么是否有一种方案可以兼顾两者呢,其实是有的.
应用代码处理

分段加密,采用分段加密可以实现like语句的模糊搜索,并且支持数据的加密,但是这种方案也有缺点就是会比较占用空间,具体原理可以看下《阿里巴巴密文字段检索方案》  https://jaq-doc.alibaba.com/docs/doc.htm?treeId=1&articleId=106213&docType=1 文章给出了具体的实现方式,约定最少4位数字或者2位中文字符4位英文字符（半角），2个中文字符（全角）,比如12345678901这么一串
分别对其进行分段[1234,2345,3456,4567,5678,6789,7890,8901]分成8份,并且对每一份进行等长数据加密,也就是加密后的结果需要等长,比如都是16位或者都是8位
算法/模式/填充16 字节加密后数据长度不满 16 字节加密后长度本次采用AES/CBC/NoPadding16不支持❌AES/CBC/PKCS5Padding3216✅AES/CBC/ISO10126Padding3216❌AES/CFB/NoPadding16原始数据长度❌AES/CFB/PKCS5Padding3216❌AES/CFB/ISO10126Padding3216❌AES/ECB/NoPadding16不支持❌AES/ECB/PKCS5Padding3216❌AES/ECB/ISO10126Padding3216❌AES/OFB/NoPadding16原始数据长度❌AES/OFB/PKCS5Padding3216❌AES/OFB/ISO10126Padding3216❌AES/PCBC/NoPadding16不支持❌AES/PCBC/PKCS5Padding3216❌AES/PCBC/ISO10126Padding3216❌加密

我们可以选择任意一种这次选择AES/CBC/PKCS5Padding 因为我们的数据原因最终肯定不满16字节,所以加密后肯定都是16字节长度,然后可以对其进行base64编码,编码后会变成24字节在对其进行合并存储
base64(aes('1234'))+base64(aes('2345'))+base64(aes('3456'))+......+base64(aes('7890'))+base64(aes('8901')),然后存入数据库,之后需要对其like的话限制最小like的数据应该满足最少4位数字或者2位中文字符4位英文字符（半角），2个中文字符（全角），比如我要查询包含45678的手机号只需要现对其进行分段[4567,5678]然后对其进行加密base64(aes('4567'))+base64(aes('5678'))
解密

因为我们采用aes加密后用base64编码拼接存入数据库,所以我们只需要对数据库的数据进行获取,之后判断其长度%24是否余数为0，如果是的话那么就将其进行以每24个长度为一组进行base64解码,然后通过aes解密.解密后在对其进行拼接还原出最初的明文数据
限制或缺点

• 通过上述可以知晓解密片段必须小于16字节长度base64后的加密信息必须是定长
  
• 字段会扩大,原本的n位明文如果需要支持加密那么将会让字段变得非常长,但是好处是支持非常高性能的like搜索
  
• 建议使用到定长的数据信息中,譬如手机号,身份证号码登
  
• 数据库函数加密解密不支持like操作符需要注意
  
• 不同的数据库需要适配不同的函数
  

有点

• 数据库函数实现简单
  
• 支持任意存储对象比如es
  

1. select * from user where phone like '%xxxxx%' -- 其中xxxxx就是base64(aes('4567'))+base64(aes('5678'))

复制代码

这样我们就实现了即支持加密又支持like的方式了,但是对于大部分用户来说虽然原理有了,但是实现起来还是太麻烦了,所以接下来我们就助力国产配合国产web框架和国产orm实现这两个功能,让用户在使用时无感知
实践案例

添加依赖

新建solon的web项目并且添加依赖

1.     <dependencies>
2.         <dependency>
3.             <groupId>com.easy-query</groupId>
4.             <artifactId>sql-solon-plugin</artifactId>
5.             <version>1.3.18</version>
6.         </dependency>
7.         <dependency>
8.             <groupId>com.zaxxer</groupId>
9.             <artifactId>HikariCP</artifactId>
10.             <version>3.3.1</version>
11.         </dependency>
12.         <dependency>
13.             <groupId>mysql</groupId>
14.             <artifactId>mysql-connector-java</artifactId>
15.             <version>8.0.31</version>
16.         </dependency>
17.         <dependency>
18.             <groupId>org.projectlombok</groupId>
19.             <artifactId>lombok</artifactId>
20.             <version>1.18.18</version>
21.         </dependency>
22.         <dependency>
23.             <groupId>org.noear</groupId>
24.             <artifactId>solon-web</artifactId>
25.             <version>2.4.2</version>
26.         </dependency>
27.         <dependency>
28.             <groupId>org.noear</groupId>
29.             <artifactId>solon.logging.simple</artifactId>
30.             <version>2.4.2</version>
31.         </dependency>
32.         <dependency>
33.             <groupId>org.slf4j</groupId>
34.             <artifactId>slf4j-api</artifactId>
35.             <version>2.0.7</version>
36.         </dependency>
37.     </dependencies>

复制代码

配置

在resources目录下新建一个app.yml文件

1. # 添加配置文件
2. db1:
3.   jdbcUrl: jdbc:mysql://127.0.0.1:3306/solon_encrypt_db?serverTimezone=GMT%2B8&characterEncoding=utf-8&useSSL=false&allowMultiQueries=true&rewriteBatchedStatements=true
4.   username: root
5.   password: root
6.   driver-class-name: com.mysql.cj.jdbc.Driver
8. easy-query:
9.   # 配置自定义日志
10.   # log-class: ...
11.   db1:
12.     # 支持mysql pgsql h2 mssql dameng mssql_row_number kingbase_es等其余数据库在适配中
13.     database: mysql
14.     # 支持underlined default lower_camel_case upper_camel_case upper_underlined
15.     name-conversion: underlined
16.     default-track: true
18. # 记录器级别的配置示例
19. solon.logging.logger:
20.   "root": #默认记录器配置
21.     level: TRACE
22.   "com.zaxxer.hikari":
23.     level: WARN

复制代码

具体更多参数请参考solon官方文档 和easy-query官方文档
启动类

WebApp.java

1. public class WebApp {
2.     public static void main(String[] args) {
3.         Solon.start(WebApp.class,args);
4.     }
5. }

复制代码

加密策略

1. //支持like的java方法加密解密
2. public class JavaEncryptionStrategy extends AbstractAesBase64EncryptionStrategy {
3.     @Override
4.     public String getIv() {
5.         return "1234567890123456";
6.     }
8.     @Override
9.     public String getKey() {
10.         return "1234561234567890";
11.     }
12. }
14. //数据库函数加密解密
15. public class MySQLAESColumnValueSQLConverter implements ColumnValueSQLConverter {
16.     /**
17.      * 数据加密秘钥
18.      */
19.     private static final String SECRET="1234567890123456";
20.     @Override
21.     public void columnConvert(TableAvailable table, ColumnMetadata columnMetadata, SQLPropertyConverter sqlPropertyConverter, QueryRuntimeContext runtimeContext) {
22.         sqlPropertyConverter.sqlNativeSegment("AES_DECRYPT(from_base64({0}),{1})",context->{
23.             context
24.                     .expression(columnMetadata.getPropertyName())//采用变量是因为可能出现join附带别名所以需要变量
25.                     .value(SECRET)
26.                     .setAlias(columnMetadata.getName());
27.         });
28.     }
30.     @Override
31.     public void valueConvert(TableAvailable table, ColumnMetadata columnMetadata, SQLParameter sqlParameter, SQLPropertyConverter sqlPropertyConverter, QueryRuntimeContext runtimeContext) {
32.         sqlPropertyConverter.sqlNativeSegment("to_base64(AES_ENCRYPT({0},{1}))",context->{
33.             context.value(sqlParameter).value(SECRET);
34.         });
35.     }
36. }

复制代码

数据库对象

1. //用户信息表
2. @Data
3. @Table("sys_user")
4. public class SysUser {
5.     @Column(primaryKey = true)
6.     private String id;
7.     private String name;
8.     @Column(sqlConversion = MySQLAESColumnValueSQLConverter.class)
9.     private String phone;
10.     @Encryption(strategy = JavaEncryptionStrategy.class,supportQueryLike = true)
11.     private String Address;
12.     private LocalDateTime createTime;
13.     @Navigate(value = RelationTypeEnum.OneToMany,targetProperty = "userId")
14.     private List<UserBook> books;
15. }
16. //为了演示复杂查询这边在新增一张用户书本表
17. @Data
18. @Table("user_book")
19. public class UserBook {
20.     @Column(primaryKey = true)
21.     private String id;
22.     private String userId;
23.     private String name;
24. }

复制代码

数据库脚本

1. CREATE DATABASE IF NOT EXISTS solon_encrypt_db CHARACTER SET 'utf8mb4';
2. create table solon_encrypt_db.sys_user
3. (
4.     id varchar(32) not null comment '主键ID'primary key,
5.     name varchar(50) not null comment '姓名',
6.     phone varchar(256) null comment '手机号',-- 手机号不需要模糊搜索
7.     address varchar(512) null comment '用户地址',-- 用户地址需要模糊搜索
8.     create_time datetime not null comment '创建时间'
9. )comment '用户表';
10. create table solon_encrypt_db.user_book
11. (
12.     id varchar(32) not null comment '主键ID'primary key,
13.     user_id varchar(32) not null comment '姓名',
14.     name varchar(50) not null comment '姓名'
15. )comment '用户书本表';

复制代码

配置文件

1. @Configuration
2. public class DefaultConfiguration {
3.     @Bean(name = "db1",typed=true)
4.     public DataSource db1DataSource(@Inject("${db1}") HikariDataSource dataSource){
5.         return dataSource;
6.     }
7.     @Bean
8.     public void db1QueryConfiguration(@Db("db1") QueryConfiguration configuration){
9.         configuration.applyEncryptionStrategy(new JavaEncryptionStrategy());
10.         configuration.applyColumnValueSQLConverter(new MySQLAESColumnValueSQLConverter());
11.     }
12. }

复制代码

测试

新增控制器

1. @Controller
2. @Mapping("/test")
3. public class TestController {
4.     @Db
5.     private EasyQuery easyQuery;
6.     @Mapping(value = "/init",method = MethodType.GET)
7.     @Tran
8.     public String init(){
9.         {
11.             SysUser sysUser = new SysUser();
12.             sysUser.setId("1");
13.             sysUser.setName("用户1");
14.             sysUser.setPhone("12345678901");
15.             sysUser.setAddress("浙江省绍兴市越城区城市广场1234号");
16.             sysUser.setCreateTime(LocalDateTime.now());
17.             ArrayList<UserBook> userBooks = new ArrayList<>();
18.             UserBook userBook = new UserBook();
19.             userBook.setId("1");
20.             userBook.setUserId("1");
21.             userBook.setName("语文");
22.             userBooks.add(userBook);
23.             UserBook userBook1 = new UserBook();
24.             userBook1.setId("2");
25.             userBook1.setUserId("1");
26.             userBook1.setName("数学");
27.             userBooks.add(userBook1);
28.             easyQuery.insertable(sysUser).executeRows();
29.             easyQuery.insertable(userBooks).executeRows();
30.         }
31.         {
33.             SysUser sysUser = new SysUser();
34.             sysUser.setId("2");
35.             sysUser.setName("用户2");
36.             sysUser.setPhone("19012345678");
37.             sysUser.setAddress("浙江省杭州市上城区武林广场1234号");
38.             sysUser.setCreateTime(LocalDateTime.now());
39.             ArrayList<UserBook> userBooks = new ArrayList<>();
40.             UserBook userBook = new UserBook();
41.             userBook.setId("3");
42.             userBook.setUserId("2");
43.             userBook.setName("语文");
44.             userBooks.add(userBook);
45.             UserBook userBook1 = new UserBook();
46.             userBook1.setId("4");
47.             userBook1.setUserId("2");
48.             userBook1.setName("英语");
49.             userBooks.add(userBook1);
50.             easyQuery.insertable(sysUser).executeRows();
51.             easyQuery.insertable(userBooks).executeRows();
52.         }
53.         return "初始化完成";
54.     }
55. }
58. ==> Preparing: INSERT INTO `sys_user` (`id`,`name`,`phone`,`address`,`create_time`) VALUES (?,?,to_base64(AES_ENCRYPT(?,?)),?,?)
59. ==> Parameters: 1(String),用户1(String),12345678901(String),1234567890123456(String),miaKEctf5bGBi4yFHvSV6A==i9CdpEU+Ji+g0pPYOpTcWA==9RprkhoOPwcA13Ye0eE0NA==f0ryEfO7ajP2qQ9Yia/dwA==bFZZS42+JmMlvK+6t9a2xQ==O+TkblfoJWgGu6o/w3RuBQ==urDZztVNP45UWWQrQsneOg==+n2a0u3gq1V4L8aKa/eyEg==8u/RP9cyz8l7udgay5Tbnw==oLi10kERsXzxuJdSFAZN9w==Sgm9i3O/7FtvC4ryFziNug==9gkm5m1HD8qS4ITJ0r/W4A==zppH8USinNqLsEPxJ2jfiQ==RY3Ji2Exl1StrrdrzSVvDQ==lMnY0leaGzXqeK/mukEIQQ==NlthvCsk4jaQkEioF/SWsA==(String),2023-08-13T09:17:01.503(LocalDateTime)
60. <== Total: 1
61. ==> Preparing: INSERT INTO `user_book` (`id`,`user_id`,`name`) VALUES (?,?,?)
62. ==> Parameters: 1(String),1(String),语文(String)
63. <== Total: 1
64. ==> Preparing: INSERT INTO `user_book` (`id`,`user_id`,`name`) VALUES (?,?,?)
65. ==> Parameters: 2(String),1(String),数学(String)
66. <== Total: 1
67. ==> Preparing: INSERT INTO `sys_user` (`id`,`name`,`phone`,`address`,`create_time`) VALUES (?,?,to_base64(AES_ENCRYPT(?,?)),?,?)
68. ==> Parameters: 2(String),用户2(String),19012345678(String),1234567890123456(String),miaKEctf5bGBi4yFHvSV6A==i9CdpEU+Ji+g0pPYOpTcWA==JdzWF3gRqqCuHO+fiRTsGQ==Ydc2v/Ghy3MbHTvTiLqHIg==B9zPkalGKbJMzyFgw8W6bA==yIJYfG5BGqQnnR5+GhdV4g==V7Zu1p3qHPjOBj+vAc1MQA==+n2a0u3gq1V4L8aKa/eyEg==MEsrlm3QnRdt4entjjf97w==rBJCNrGBSjKI6T77OXD2dg==k75blBdYdH81FSIB4AVjeA==9gkm5m1HD8qS4ITJ0r/W4A==zppH8USinNqLsEPxJ2jfiQ==RY3Ji2Exl1StrrdrzSVvDQ==lMnY0leaGzXqeK/mukEIQQ==NlthvCsk4jaQkEioF/SWsA==(String),2023-08-13T09:17:01.775(LocalDateTime)
69. <== Total: 1
70. ==> Preparing: INSERT INTO `user_book` (`id`,`user_id`,`name`) VALUES (?,?,?)
71. ==> Parameters: 3(String),2(String),语文(String)
72. <== Total: 1
73. ==> Preparing: INSERT INTO `user_book` (`id`,`user_id`,`name`) VALUES (?,?,?)
74. ==> Parameters: 4(String),2(String),英语(String)
75. <== Total: 1

复制代码

按用户加密地址模糊匹配

1.     @Mapping(value = "/query",method = MethodType.GET)
2.     public Object query(){
3.         List<SysUser> list = easyQuery.queryable(SysUser.class)
4.                 .include(o -> o.many(SysUser::getBooks))
5.                 .toList();
6.         return list;
7.     }
9. [{"id":"1","name":"用户1","phone":"12345678901","Address":"浙江省绍兴市越城区城市广场1234号","createTime":1691889422000,"books":[{"id":"1","userId":"1","name":"语文"},{"id":"2","userId":"1","name":"数学"}]},{"id":"2","name":"用户2","phone":"19012345678","Address":"浙江省杭州市上城区武林广场1234号","createTime":1691889422000,"books":[{"id":"3","userId":"2","name":"语文"},{"id":"4","userId":"2","name":"英语"}]}]

复制代码

[code]    @Mapping(value = "/initSM4",method = MethodType.GET)    @Tran    public String initSM4(){        {            SysUserSM4 sysUser = new SysUserSM4();            sysUser.setId("5");            sysUser.setName("用户5");            sysUser.setPhone("12345678901");            sysUser.setAddress("浙江省绍兴市越城区城市广场1234号");            sysUser.setCreateTime(LocalDateTime.now());            easyQuery.insertable(sysUser).executeRows();        }        {            SysUserSM4 sysUser = new SysUserSM4();            sysUser.setId("6");            sysUser.setName("用户6");            sysUser.setPhone("19012345678");            sysUser.setAddress("浙江省杭州市上城区武林广场1234号");            sysUser.setCreateTime(LocalDateTime.now());            easyQuery.insertable(sysUser).executeRows();        }        return "初始化完成";    }==> Preparing: INSERT INTO `sys_user` (`id`,`name`,`phone`,`address`,`create_time`) VALUES (?,?,to_base64(AES_ENCRYPT(?,?)),?,?)==> Parameters: 5(String),用户5(String),12345678901(String),1234567890123456(String),KHxVEDHBxB0x9kgAltKrMA==llZIL8h9i+2b7sPaSt6qpw==/WFPdFPf569dkeGI2Q9r9A==CAvnuJp9Lz30LTVaZi5U5A==JKhjq5f94+MJgJK7Fc4lRA==flZDUtkyeOZJrdUE0DxlZg==jlVLlk9iVJCOCdln+G11Mg==wFIL7wK7nBctC0slOEomrg==zztIbbTcuUyyS+Zj2JgQ1w==X6DWRoQjqCunrA9w6ZlJ3Q==hN0Bm2/qS3XRK2Xxe8/MIw==iDZGTAU/WlMkwLAoiYuh8Q==R4pbp78Ig7qHCLzn9IF7rw==woPrxebr8Xvyo1qG8QxAUA==65pvnL+1Og20OW+xunqHCA==vJKXxvzbvWtZB9hrWrioCg==(String),2023-08-13T22:28:27.204(LocalDateTime) Preparing: INSERT INTO `sys_user` (`id`,`name`,`phone`,`address`,`create_time`) VALUES (?,?,to_base64(AES_ENCRYPT(?,?)),?,?)==> Parameters: 6(String),用户6(String),19012345678(String),1234567890123456(String),KHxVEDHBxB0x9kgAltKrMA==llZIL8h9i+2b7sPaSt6qpw==66gmuLlsoaX1sHDabqd/XA==YGGmh56Hc5MS+Wf8dZdl8w==SjvWmsqOacq5Kui8xDCxxw==cQrhVkPp3Hf5s/GKHpNOaw==BDvJOrbklVQGHodEa+eyCA==wFIL7wK7nBctC0slOEomrg==BZcCFFYJzjQzZ7R23fmOUA==M8WFvyffOu6BeTpQgghhUA==Jw8BjPktNN8CPRyi1f5Vrg==iDZGTAU/WlMkwLAoiYuh8Q==R4pbp78Ig7qHCLzn9IF7rw==woPrxebr8Xvyo1qG8QxAUA==65pvnL+1Og20OW+xunqHCA==vJKXxvzbvWtZB9hrWrioCg==(String),2023-08-13T22:28:27.622(LocalDateTime) Preparing: SELECT `id`,`name`,AES_DECRYPT(from_base64(`phone`),?) AS `phone`,`address`,`create_time` FROM `sys_user` WHERE `id` IN (?,?)==> Parameters: 1234567890123456(String),5(String),6(String) Preparing: SELECT `id`,`name`,AES_DECRYPT(from_base64(`phone`),?) AS `phone`,`address`,`create_time` FROM `sys_user` WHERE `id` IN (?,?) AND `address` LIKE ?==> Parameters: 1234567890123456(String),5(String),6(String),%M8WFvyffOu6BeTpQgghhUA==Jw8BjPktNN8CPRyi1f5Vrg==iDZGTAU/WlMkwLAoiYuh8Q==%(String)