数据预处理

与本文有关的代码和数据包在以下百度云网盘中，欢迎大家下载实践。
链接：https://pan.baidu.com/s/1O9DXGSGNlT2fkHX1woBpBA
提取码：m69u

## 数据清洗对象：无关数据，重复数据，平滑噪声数据，筛选掉与挖掘主题无关的数据，处理缺失值，异常值等。

1）缺失值处理

方法：删除记录，数据插补和不处理。

常见的插补法：

均值/中位数/众数插补
根据属性值的类型，用该属性取值的平均数/中位数/众数进行插补
使用固定值
将缺失的属性值用一个常量替换。
最近临插法
在记录中找到与缺失的样本最接近的样本的该属性值插补
回归方法
对带由缺失值的变量，根据已有数据与其有关的其他变量（因变量）的数据建立拟合模型来预测缺失值属性。
插值法
插值法是利用已知点建立合适的插值函数f(x)，未知值由对应 $x_i$ 求出的函数值f( $x_i$ )近似代替

拉格朗日插值法：
在这里插入图片描述

牛顿插值法：

用拉格朗日插值法对缺失值进行插补的Python程序。
（数据详见：demo/data/catering_sale.xls）
emm以下代码本人运行总是会出错，上网也找不到原因，如果你们运行出错的话，请跳过本段代码。

#拉格朗日插值代码
import pandas as pd #导入数据分析库Pandas
from scipy.interpolate import lagrange #导入拉格朗日插值函数

inputfile = 'catering_sale.xls' #销量数据路径
outputfile = 'sals.xls' #输出数据路径

data = pd.read_excel(inputfile) #读入数据
data[u'销量'][(data[u'销量'] < 400) | (data[u'销量'] > 5000)] = None #过滤异常值，将其变为空值

#自定义列向量插值函数
#s为列向量，n为被插值的位置，k为取前后的数据个数，默认为5
def ployinterp_column(s, n, k=5):
  y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数
  y = y[y.notnull()] #剔除空值
  return lagrange(y.index, list(y))(n) #插值并返回插值结果

#逐个元素判断是否需要插值
for i in data.columns:
  for j in range(len(data)):
    if (data[i].isnull())[j]: #如果为空即插值。
      data[i][j] = ployinterp_column(data[i], j)

data.to_excel(outputfile) #输出结果，写入文件

运行结果应如下：

在这里插入图片描述
数据大于5000还有空值，将其插补，插值结果更符合实际情况。

2）异常值处理

常用方法：

删除含有异常值的记录
直接将含有异常值的记录删除
视为缺失值
将异常值视为缺失值，利用缺失值处理的方法进行处理
平均值修正
可用前后两个观测值的平均值修正该异常值
不处理
直接在具有异常值的数据集上进行挖掘建模

在很多情况下，要先分析异常值出现的可能原因，再判断异常值是否应该舍弃，如果是正确的数据，可以直接在具有异常值的数据集上进行挖掘建模。

数据集成

数据集成就是将多个数据源合并存放在一个一致的数据存储（如数据仓库）中的过程。

1）实体识别

任务：统一不同的源数据的矛盾之处。
(1)同名异义
(2)异名同义
(3)单位不统一

2）冗余属性识别

数据集成往往导致数据冗余，如：
（1）同属性多次出现
（2）同属性命名不一致导致重复

数据变换

简单数据变换
x’=x²
x’= $\sqrt{x}$
x’=log(x)
▽f( $x_k$ )=f( $x_k+1$ )-f( $x_k$ )
简单的函数变换常用来将不具有正态分布的数据变换成具有正态分布的数据。

规范化
为了消除指标之间的量纲和取值范围差异的影响，进行标准化处理，将数据按照比例进行缩放，使之落入一个特定的区域，便于进行综合分析。

（1）最小-最大规范化（离差标准化）
对原始数据的线性变换，将数值映射到[0,1]之间。
转换公式：

x^*= $\frac{x-min}{max-min}$

在这里插入图片描述
（2）零-均值规范化（标准差标准化）
经过处理的数据的均值为0，标准差为1.
转换公式：

x^*= $\frac{x-\overline{x}}{\sigma}$

$\overline{x}$ 为原始数据的均值， $\sigma$ 为原始数据的标准差，是当前用得最多的数据标准化方法。

（3）小数定标准规划范
通过移动属性值的小数位数，将属性值映射到[-1,1]之间，移动的小数位取决于属性值的绝对值最大。
转换公式：

x^*= $\frac{x}{10^k}$

以下通过对一个矩阵使用上面3种规范化的方法处理。

#-*- coding: utf-8 -*-
#数据规范化
import pandas as pd
import numpy as np

datafile = 'normalization_data.xls' #参数初始化
data = pd.read_excel(datafile, header = None) #读取数据

(data - data.min())/(data.max() - data.min()) #最小-最大规范化
(data - data.mean())/data.std() #零-均值规范化
data/10**np.ceil(np.log10(data.abs().max())) #小数定标规范化
print(data)

结果如下：
data #数据源
在这里插入图片描述
(data - data.min())/(data.max() - data.min()) #最小-最大规范化

(data - data.mean())/data.std() #零-均值规范化

data/10**np.ceil(np.log10(data.abs().max())) #小数定标规范化

学习笔记-数据预处理（数据挖掘）