Python数据清洗学习笔记--概述

Python数据清洗学习笔记–概述

数据清洗实质上是将实际业务问题中，脏数据清洗干净,转换为’干净的数据’,所谓的脏，指数据可能存在以下几种问题（主要问题）:

1. 数据缺失 （Incomplete）是属性值为空的情况。如 Occupancy = “ ”

2. 数据噪声 （Noisy）是数据值不合常理的情况。如 Salary = “-100”

3. 数据不一致 （Inconsistent）是数据前后存在矛盾的情况。如 Age = “042” 或者 Birthday= “01/09/1985”

4. 数据冗余 （Redundant）是数据量或者属性数目超出数据分析需要的情况

5. 离群点/异常值（Outliers）是偏离大部分值的数据

6. 数据重复是在数据集中出现多次的数据

数据清洗的意义：

1. 现实生活中，数据并非完美的, 需要进行清洗才能进行后面的数据分析

2. 数据清洗是整个数据分析项目最消耗时间的一步

3. 数据的质量最终决定了数据分析的准确性

4. 数据清洗是唯一可以提高数据质量的方法,使得数据分析的结果也变得更加可靠

记录自：python数据清洗实战–Peter老师