项目实战--数据脱敏方案

一、前言

实际的业务系统开发过程中，常需要对用户的隐私数据进行脱敏处理，即将数据进行混淆隐藏，例如将用户的手机号、地址等数据信息，采用****号进行隐藏，以免泄露个人隐私信息。这涉及到页面端和数据端两方面脱敏。

二、脱敏方案设计

2.1 指定字段脱敏

如果需要脱敏的数据范围很小，甚至就是指定的字段，一般的处理方式也很简单，就是写一个隐藏方法即可实现数据脱敏。

采用这种方式实现简单且好维护。

2.2 SpringBoot + jackson

若需要分门别类的进行脱敏处理，简单粗暴的处理不好维护且繁杂，需要在数据输出的阶段，进行统一数据脱敏处理。
数据输出涉及到 JSON 序列化，而web 系统，就是将数据通过 json 序列化之后展示给前端。那就可以在序列化的时候，进行数据脱敏处理。

2.2.1 添加依赖包

若项目已经添加spring-web包或者spring-boot-starter-web包，就已经默认集成jackson相关包，无需重复依赖。
若项目没有jackson包，则pom.xml添加相关依赖：

<!--jackson依赖-->
<dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-core</artifactId><version>2.9.8</version>
</dependency>
<dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-annotations</artifactId><version>2.9.8</version>
</dependency>
<dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId><version>2.9.8</version>
</dependency>

2.2.2 脱敏类型枚举类

public enum SensitiveEnum {/*** 中文名*/CHINESE_NAME,/*** 身份证号*/ID_CARD,/*** 座机号*/FIXED_PHONE,/*** 手机号*/MOBILE_PHONE,/*** 地址*/ADDRESS,/*** 电子邮件*/EMAIL,/*** 银行卡*/BANK_CARD,/*** 公司开户银行联号*/CNAPS_CODE
}

2.2.3 脱敏注解类

import com.fasterxml.jackson.annotation.JacksonAnnotationsInside;
import com.fasterxml.jackson.databind.annotation.JsonSerialize;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;@Retention(RetentionPolicy.RUNTIME)
@JacksonAnnotationsInside
@JsonSerialize(using = SensitiveSerialize.class)
public @interface SensitiveWrapped {/*** 脱敏类型* @return*/SensitiveEnum value();
}

2.2.4 脱敏序列化类

import com.fasterxml.jackson.core.JsonGenerator;
import com.fasterxml.jackson.databind.BeanProperty;
import com.fasterxml.jackson.databind.JsonMappingException;
import com.fasterxml.jackson.databind.JsonSerializer;
import com.fasterxml.jackson.databind.SerializerProvider;
import com.fasterxml.jackson.databind.ser.ContextualSerializer;
import java.io.IOException;
import java.util.Objects;public class SensitiveSerialize extends JsonSerializer<String> implements ContextualSerializer {/*** 脱敏类型*/private SensitiveEnum type;@Overridepublic void serialize(String s, JsonGenerator jsonGenerator, SerializerProvider serializerProvider) throws IOException {switch (this.type) {case CHINESE_NAME: {jsonGenerator.writeString(SensitiveInfoUtils.chineseName(s));break;}case ID_CARD: {jsonGenerator.writeString(SensitiveInfoUtils.idCardNum(s));break;}case FIXED_PHONE: {jsonGenerator.writeString(SensitiveInfoUtils.fixedPhone(s));break;}case MOBILE_PHONE: {jsonGenerator.writeString(SensitiveInfoUtils.mobilePhone(s));break;}case ADDRESS: {jsonGenerator.writeString(SensitiveInfoUtils.address(s, 4));break;}case EMAIL: {jsonGenerator.writeString(SensitiveInfoUtils.email(s));break;}case BANK_CARD: {jsonGenerator.writeString(SensitiveInfoUtils.bankCard(s));break;}case CNAPS_CODE: {jsonGenerator.writeString(SensitiveInfoUtils.cnapsCode(s));break;}}}@Overridepublic JsonSerializer<?> createContextual(SerializerProvider serializerProvider, BeanProperty beanProperty) throws JsonMappingException {// 为空直接跳过if (beanProperty != null) {// 非 String 类直接跳过if (Objects.equals(beanProperty.getType().getRawClass(), String.class)) {SensitiveWrapped sensitiveWrapped = beanProperty.getAnnotation(SensitiveWrapped.class);if (sensitiveWrapped == null) {sensitiveWrapped = beanProperty.getContextAnnotation(SensitiveWrapped.class);}if (sensitiveWrapped != null) {// 如果能得到注解，就将注解的 value 传入 SensitiveSerializereturn new SensitiveSerialize(sensitiveWrapped.value());}}return serializerProvider.findValueSerializer(beanProperty.getType(), beanProperty);}return serializerProvider.findNullValueSerializer(beanProperty);}public SensitiveSerialize() {}public SensitiveSerialize(final SensitiveEnum type) {this.type = type;}
}

2.2.5 脱敏工具类

import org.apache.commons.lang3.StringUtils;public class SensitiveInfoUtils {/*** [中文姓名] 只显示第一个汉字，其他隐藏为2个星号<例子：李**>*/public static String chineseName(final String fullName) {if (StringUtils.isBlank(fullName)) {return "";}final String name = StringUtils.left(fullName, 1);return StringUtils.rightPad(name, StringUtils.length(fullName), "*");}/*** [中文姓名] 只显示第一个汉字，其他隐藏为2个星号<例子：李**>*/public static String chineseName(final String familyName, final String givenName) {if (StringUtils.isBlank(familyName) || StringUtils.isBlank(givenName)) {return "";}return chineseName(familyName + givenName);}/*** [身份证号] 显示最后四位，其他隐藏。共计18位或者15位。<例子：420**********5762>*/public static String idCardNum(final String id) {if (StringUtils.isBlank(id)) {return "";}return StringUtils.left(id, 3).concat(StringUtils.removeStart(StringUtils.leftPad(StringUtils.right(id, 4), StringUtils.length(id), "*"),"***"));}/*** [固定电话] 后四位，其他隐藏<例子：****1234>*/public static String fixedPhone(final String num) {if (StringUtils.isBlank(num)) {return "";}return StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*");}/*** [手机号码] 前三位，后四位，其他隐藏<例子:138******1234>*/public static String mobilePhone(final String num) {if (StringUtils.isBlank(num)) {return "";}return StringUtils.left(num, 3).concat(StringUtils.removeStart(StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*"),"***"));}/*** [地址] 只显示到地区，不显示详细地址；我们要对个人信息增强保护<例子：北京市海淀区****>** @param sensitiveSize 敏感信息长度*/public static String address(final String address, final int sensitiveSize) {if (StringUtils.isBlank(address)) {return "";}final int length = StringUtils.length(address);return StringUtils.rightPad(StringUtils.left(address, length - sensitiveSize), length, "*");}/*** [电子邮箱] 邮箱前缀仅显示第一个字母，前缀其他隐藏，用星号代替，@及后面的地址显示<例子:g**@163.com>*/public static String email(final String email) {if (StringUtils.isBlank(email)) {return "";}final int index = StringUtils.indexOf(email, "@");if (index <= 1) {return email;} else {return StringUtils.rightPad(StringUtils.left(email, 1), index, "*").concat(StringUtils.mid(email, index, StringUtils.length(email)));}}/*** [银行卡号] 前六位，后四位，其他用星号隐藏每位1个星号<例子:6222600**********1234>*/public static String bankCard(final String cardNum) {if (StringUtils.isBlank(cardNum)) {return "";}return StringUtils.left(cardNum, 6).concat(StringUtils.removeStart(StringUtils.leftPad(StringUtils.right(cardNum, 4), StringUtils.length(cardNum), "*"),"******"));}/*** [公司开户银行联号] 公司开户银行联行号,显示前两位，其他用星号隐藏，每位1个星号<例子:12********>*/public static String cnapsCode(final String code) {if (StringUtils.isBlank(code)) {return "";}return StringUtils.rightPad(StringUtils.left(code, 2), StringUtils.length(code), "*");}
}

2.2.6 测试实体类

public class UserEntity {/*** 用户ID*/private Long userId;/*** 用户姓名*/private String name;/*** 手机号*/@SensitiveWrapped(SensitiveEnum.MOBILE_PHONE)private String mobile;/*** 身份证号码*/@SensitiveWrapped(SensitiveEnum.ID_CARD)private String idCard;/*** 年龄*/private String sex;/*** 性别*/private int age;//省略get、set...
}

2.2.7 测试程序

public class SensitiveDemo {public static void main(String[] args) throws JsonProcessingException {UserEntity userEntity = new UserEntity();userEntity.setUserId(1l);userEntity.setName("张三");userEntity.setMobile("18000000001");userEntity.setIdCard("420117200001011000008888");userEntity.setAge(20);userEntity.setSex("男");//通过jackson方式，将对象序列化成json字符串ObjectMapper objectMapper = new ObjectMapper();System.out.println(objectMapper.writeValueAsString(userEntity));}
}

结果如下：

{"userId":1,"name":"张三","mobile":"180****0001","idCard":"420*****************8888","sex":"男","age":20}

若项目基于SpringMVC框架进行开发，那在对象返回的时候，框架会自动采用jackson框架进行序列化。

@RequestMapping("/hello")
public UserEntity hello() {UserEntity userEntity = new UserEntity();userEntity.setUserId(1l);userEntity.setName("张三");userEntity.setMobile("18000000001");userEntity.setIdCard("420117200001011000008888");userEntity.setAge(20);userEntity.setSex("男");return userEntity;
}

请求网页http://127.0.0.1:8080/hello，结果如下：

案例下载：

https://gitee.com/pzblogs/spring-boot-example-demo

2.3 Mybatis数据脱敏

2.3.1 自定义TypeHandler类型转换器

用于处理数据在数据库类型和java类型之间的转换，默认情况下，常用的String、Long、Date等java类型都有对应的TypeHandler进行处理，自定义TypeHanler实现目前没有对应的数据转换处理器。

import cn.hutool.crypto.symmetric.AES;
import org.apache.ibatis.type.BaseTypeHandler;
import org.apache.ibatis.type.JdbcType;
import org.springframework.util.StringUtils;import java.nio.charset.StandardCharsets;
import java.sql.CallableStatement;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Objects;/*** mybatis String类型敏感字段处理类* 可以通过实现TypeHandler，但是BaseTypeHandler已经实现了，我们可以继承它*/
public class SensitiveColumnHandler extends BaseTypeHandler<String> {private static final String key = "wjfgncvkdkd25fc2";/*** 设置参数值，在此处对字段值进行加密处理*/@Overridepublic void setNonNullParameter(PreparedStatement ps, int i, String parameter, JdbcType jdbcType) throws SQLException {// 如果字段或字段值为空，不进行处理if(StringUtils.isEmpty(parameter)){ps.setString(i, parameter);return;}// 对字段值进行加密，此处使用hutool工具，有其他使用其他即可AES aes = SecureUtil.aes(key.getBytes(StandardCharsets.UTF_8));String secretStr = aes.encryptHex(parameter);ps.setString(i, secretStr);}/*** 获取值内容*/@Overridepublic String getNullableResult(ResultSet rs, String columnName) throws SQLException {String value = rs.getString(columnName);if(Objects.isNull(value)){return null;}// 对字段值进行加密，此处使用hutool工具，有其他使用其他即可AES aes = SecureUtil.aes(key.getBytes(StandardCharsets.UTF_8));return aes.decryptStr(value);}/*** 获取值内容*/@Overridepublic String getNullableResult(ResultSet rs, int columnIndex) throws SQLException {String value = rs.getString(columnIndex);if(Objects.isNull(value)){return null;}// 对字段值就行加密，此处使用hutool工具，有其他使用其他即可AES aes = SecureUtil.aes(key.getBytes(StandardCharsets.UTF_8));return aes.decryptStr(value);}/*** 获取值内容*/@Overridepublic String getNullableResult(CallableStatement cs, int columnIndex) throws SQLException {String value = cs.getString(columnIndex);if(Objects.isNull(value)){return null;}// 对字段值进行加密，此处使用hutool工具，有其他使用其他即可AES aes = SecureUtil.aes(key.getBytes(StandardCharsets.UTF_8));return aes.decryptStr(value);}
}

2.3.2 处理器的使用

全局使用处理器：需要在配置文件中指定处理器包位置，指定后任意位置遇到该处理器能够处理的类型，都会使用该处理器。但只有在字符串是敏感数据时，才需要用到自定义的处理器。故不不建议使用。

#指定TypeHandler处理器的包位置
type-handlers-package: com.sensitive.learn.handler

局部使用处理器：在需要的字段上使用typeHandler表明指定的处理器，没有标注typeHandler的字段，将采用默认的处理器。（此处使用见Mapper.xml）。
创建Test实体类：

@Data
@Accessors(chain = true)
public class Test {private Long id;private String idCard;private String phone;
}

TestMapper接口类：

@Mapper
public interface TestMapper {List<Test> selectAll();Boolean insert(Test test);
}

Myatis Mappe.xml文件：
在需要自定义TypeHandler的字段是使用typeHandler属性进行指定：

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapperPUBLIC "-//mybatis.org//DTD Mapper 3.0//EN""http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.sensitive.learn.mapper.TestMapper"><resultMap id="testMap" type="com.sensitive.learn.model.Test"><id property="id" column="id"/><result property="idCard" column="id_card" typeHandler="com.sensitive.learn.handler.SensitiveColumnHandler"/><result property="phone" column="phone" typeHandler="com.sensitive.learn.handler.SensitiveColumnHandler"/></resultMap><select id="selectAll" resultMap="testMap">select id, id_card, phonefrom test</select><insert id="insert" parameterType="com.sensitive.learn.model.Test">insert into test(id, id_card, phone)values(#{id},#{idCard, typeHandler=com.sensitive.learn.handler.SensitiveColumnHandler},#{phone, typeHandler=com.sensitive.learn.handler.SensitiveColumnHandler})</insert>
</mapper>

2.3.3 测试插入与查询

@SpringBootTest
@RunWith(SpringRunner.class)
public class TestClass {@Resourceprivate TestMapper testMapper;@Testpublic void test1(){List<com.sensitive.learn.model.Test> tests = testMapper.selectAll();tests.forEach(System.out::println);}@Testpublic void test2(){com.sensitive.learn.model.Test test = new com.sensitive.learn.model.Test();test.setId(6L).setIdCard("4493888665464654660").setPhone("1234567890");testMapper.insert(test);}
}

插如之后查看数据库表情况：数据已经经过加密

查询控制台打印的结果：正常解密

Test(id=6, idCard=4493888665464654660, phone=1234567890)

三、总结

关于接口数据脱敏两个方面的实现，一方面是通过Mybatis实现数据层脱敏，一方面是通过Jackson实现业务接口层脱敏，可以通过业务需求灵活组合使用，有效的解决敏感数据隐私泄露的问题。