数据挖掘-数据预处理

(1)数据预处理

    对于建立数据仓库和数据挖掘都是一个重要的问题,因为现实世界中的数据多半是不完整的、有噪音的和不一致的。数据预处理包括数据清理、数据集成、数据变换和数据归约。

(2)数据清理

    可以用于填充遗漏的值,平滑数据,找出局外者并纠正数据的不一致性。

(3)数据集成

    将来自不同数据源的数据整合成一致的数据存储。元数据、相关分析、数据冲突检测和语义异种性的解决都有助于数据集成。

(4)数据变换

   将数据变换成适于挖掘的形式。例如,属性数据可以规范化,使得它们可以落入小区间,如0.0 到1.0。

(5)数据归约技术

    如数据方聚集、维归约、数据压缩、数值归约和离散化都可以用来得到数据的归约表示,而使得信息内容的损失最小。

(6)数值数据的概念分层

    数值数据的概念分层自动产生可能涉及诸如分箱、直方图分析、聚类分析、基于熵的离散化和根据自然划分分段。对于分类数据,概念分层可以根据定义分层的属性的不同值个数自动产生。

猜你喜欢

转载自yugouai.iteye.com/blog/1905492