CloudCanal 数据脱敏实践
简述本文主要介绍使用 CloudCanal 做数据迁移同步时如何对特定数据做脱敏处理。
技术点
自定义代码
CloudCanal 允许用户上传业务代码到数据任务中，完成数据迁移、同步过程中数据处理的目的。
数据同步脱敏也是基于自定义代码实现，具备以下特点：
[*]脱敏范围灵活，可选择任何一个或多个表字段
[*]脱敏算法可依赖外部算法包
[*]脱敏逻辑和策略可自定义
操作示例
脱敏代码开发
[*]数据脱敏逻辑开发。Gitee 上完整代码
https://www.clougence.com/cc-doc/assets/images/custom_code_1-d1bd216e62d4e0c52b783f83b4c72c9f.png
https://www.clougence.com/cc-doc/assets/images/custom_code_2-791b2ae2ff7fc60b2fc0c84f3ff52371.png
[*]代码打包
https://www.clougence.com/cc-doc/assets/images/custom_code_3-0336668880bd31436a653baa25e4216b.png
[*]代码包位置
https://www.clougence.com/cc-doc/assets/images/custom_code_4-2ff5651a3d5950221bc254af93e04e98.png
安装 CloudCanal
[*]下载、安装并激活 CloudCanal 私有部署版本
任务创建
[*]任务管理 > 创建任务
[*]选择源和目标数据库
https://www.clougence.com/cc-doc/assets/images/custom_task_1-4f6d1a39a5d74c22f7f5a8f5fd860198.png
[*]选择增量同步，并勾选数据初始化
https://www.clougence.com/cc-doc/assets/images/custom_task_2-a8718f3a3455bd6362c9dc6997a488e8.png
[*]选择同步表
https://www.clougence.com/cc-doc/assets/images/custom_task_3-4f7de9f8782e382aa49eea1087c3716a.png
[*]选择列，右上角 上传自定义代码 jar 包
https://www.clougence.com/cc-doc/assets/images/custom_task_4-7d2a14ee377834d69ec91e9dce43dc23.png
[*]创建任务
https://www.clougence.com/cc-doc/assets/images/custom_task_5-293ffbe70f6bf73547c9f78dc174a273.png
[*]任务结构迁移、全量迁移、增量同步，正常运行
https://www.clougence.com/cc-doc/assets/images/custom_task_6-5ad862e7b3964a44e06b4929478aadb8.png
验证数据
[*]源端与目标端数据
https://www.clougence.com/cc-doc/assets/images/custom_data_1-84d2ee2ccba4ef350a75775e4089d399.png
https://www.clougence.com/cc-doc/assets/images/custom_data_2-a3264e3df6ce4fa49610ec71b25c095d.png
[*]对测试表造一些 DML 操作后，源端和目标端数据
https://www.clougence.com/cc-doc/assets/images/custom_data_3-c5faa75ad8640ddc78892264a7bf4731.png
https://www.clougence.com/cc-doc/assets/images/custom_data_4-93f740ae2e242f208f5c868ef3d49162.png
常见问题
目前还存在什么问题？
[*]只支持 Java 语言，对于非开发同学不够友好，后续希望能支持常用脚本语言。
[*]数据校验和数据订正暂时不支持，对于基于自定义代码实现的数据迁移同步，无法做到数据质量校验。
总结
主要介绍使用 CloudCanal 做数据迁移同步时数据脱敏工作。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]