1.开发背景
由于各种原因，在实际生产环境中Mysql或者其他的业务库，有很多敏感数据并没有加密，同样，业务库数据同步到Hive仓库后也并没有加密，这样就存在数据安全问题，但是由于涉及到的库和表太多，用人工去排查显然是不符合实际的，所以急需开发这样一套程序去对进行排查。
2.开发目标
能够把每个库每个表中可能包含敏感信息的字段找出来并存储在Mysql中(敏感信息包括身份证，手机号，邮箱，银行卡号等),并以邮件的形式通知给对应负责人及时进行处理。如果负责人确认该字段不是敏感字段，无需加密，则需要把该表的该字段加入白名单，下次扫描的时候就会自动忽略
3.使用技术
第一版：java hive mysql
升级版：sparksql sparkcore hive mysql datax python
流程图：
分析
每个表中随机抽取20条数据，对这些数据的每个字段根据相关正则进行匹配，如果该字段的所有数据都匹配不上正则，说明不包含敏感数据，则不做任何处理，如果有部分匹配上了，则存储在Mysql数据库的时候，将result_flag置为5，如果全部匹配的话，则将result_flag置为10
4.开发结果
表结果：
邮件结果：
