使用sklearn进行数据预处理之Binarizer,LabelEncoder,LabelBinarizer,OneHotEncoder

前言

数据预处理的过程中经常需要对数据进行数值化等处理，比如将性别男女转换为计算机可以理解的1和0，还有将数值化的1，2，3，4，5按照阈值3转换为0，0，0，1，1等，下面介绍一下sklearn提供的类。

Binarizer

这个就是根据阈值将数值型转变为二进制型，阈值可以进行设定，另外只能对数值型数据进行处理，且传入的参数必须为2D数组，也就是不能是Series这种类型，shape为(m,n)而不是(n,)类型的数组，下面看下例子

df = DataFrame(np.arange(12).reshape(4,3),columns=['A','B','C'])
df
第一列为索引值
A   B   C
0   0   1   2
1   3   4   5
2   6   7   8
3   9   10  11
将小于等于5的数值转为0，大于5的转为1

binarize = Binarizer(threshold=5)
binarize.fit_transform(df)
array([[0, 0, 0],
       [0, 0, 0],
       [1, 1, 1],
       [1, 1, 1]])
也可以传入df[['A','B']]来对两列进行转换，注意，不可以是df['A']或者df.A,因为df.A是Series不是二维的

LabelEncoder

可以将数据(类别型或者数值型都可以)转换为一个整数值，比如讲高中低转换为0,1,2，假设特征的取值类别有n种，那么转换到的范围就是[0:n]，LabelEncoder的输入必须是个一维的数组，如Series这种格式，如果是DataFrame则会报错，看个例子

df['B'] = ['a','b','c','d']
df
    A   B   C
0   0   a   2
1   3   b   5
2   6   c   8
3   9   d   11

le = LabelEncoder()
le.fit_transform(df.A)
输出：array([0, 1, 2, 3])

le = LabelEncoder()
le.fit_transform(df.B)
输出：array([0, 1, 2, 3])

从例子中可以看出，LabelEncoder可以处理数值型和类别型数据

LabelBinarizer

将对应的数据转换为二进制型，有点类似于onehot编码，这里有几点不同，LabelBinarizer可以处理数值型和类别型数据，输入必须为1D数组，可以自己设置正类和父类的表示方式，下面看例子，还是用之前的数据

df
    A   B   C
0   0   a   2
1   3   b   5
2   6   c   8
3   9   d   11

lb = LabelBinarizer()
lb.fit_transform(df.B)
输出
array([[1, 0, 0, 0],
       [0, 1, 0, 0],
       [0, 0, 1, 0],
       [0, 0, 0, 1]])

也可以对数值型进行转换
lb.fit_transform(df.A)

array([[1, 0, 0, 0],
       [0, 1, 0, 0],
       [0, 0, 1, 0],
       [0, 0, 0, 1]])

OneHotEncoder

来到注明的OneHot编码，注意，OneHotEncoder只能对数值型数据进行处理，还是上面的数据,只接受2D数组

df
    A   B   C
0   0   a   2
1   3   b   5
2   6   c   8
3   9   d   11

onehot = OneHotEncoder(sparse=False)//不产生稀疏矩阵
onehot.fit_transform(df[['A']]) //传入B则会出错

array([[ 1.,  0.,  0.,  0.],
       [ 0.,  1.,  0.,  0.],
       [ 0.,  0.,  1.,  0.],
       [ 0.,  0.,  0.,  1.]])