什么是数据清洗？
数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。
数据清洗的步骤
- 缺失值的处理
- 无效值的处理
- 统一规格
- 纠正错误和逻辑
- 删除重复项
- 转换构造
缺失值的处理
对于缺失值看重要性和缺失率。如果重要性高的，就需要从其他渠道补全，根据经验填满。如果没办法处理，就去除该数据，并在结果中说明。如果重要性低的，简单填充就好了，或者直接去除。
填充缺失内容
- 以业务知识或经验推测填充缺失值
- 以同一指标的计算结果（均值、中位数、众数等）填充缺失值
- 以不同指标的计算结果填充缺失值（比如不知道生日但是知道身份证号）
无效值的处理
去除就好。
统一规格
由于数据源系统分散在各个业务线，不同业务线对于数据的要求、理解和规格不同，导致对于同一数据对象描述规格完全不同，因此在清洗过程中需要统一数据规格并将一致性的内容抽象出来。
纠正错误和逻辑
在多数据源的环境下，很可能存在数据异常或冲突的问题。去除不合理值，修正矛盾内容。
删除重复项
排序和判断相似度。
转换构造
数据变换是数据清理过程的重要步骤，是对数据的一个的标准的处理，几乎所有的数据处理过程都会涉及该步骤。数据转换常见的内容包括：数据类型转换、数据语义转换、数据值域转换、数据粒度转换、表/数据拆分、行列转换、数据离散化、数据离散化、提炼新字段、属性构造、数据压缩等。
待学。。
