机器学习系列(4)_特征工程02特征提取

数据预处理，特征选择的目的是改善数据质量，体现数据的本质特征，降低计算成本，提升模型的表现。

特征选择–主要分为三个模块：

1. 特征提取（Features Extraction）：如从文本型数据提取日期型数据；从非结构化数据（文本，视频，音频等）提取数据。如：Web爬取等；
2. 特征创建（Features Creation）：通过组合，计算等方法，得到原本不存在的特征（必须是合理的），比如：使用（数量*单价-折扣）得到销售额字段；
3. 特征选择（Features Selection）:从所有特征中，选择对当前模型有价值的特征，但必须要经过验证。
   特征选择是独立于任何机器学习算法的，往往是根据各种统计检验的分值以及相关性指标来选择特征。
4. 特征选择与模型应用的基本流程：
   全部特征有哪些–》通过统计检验获取最佳特征子集（无创造新特征）–》通过算法进行训练–》模型评估–》模型应用

创造新特征：在数据整理的时候，

import pandas as pd
data=pd.read_csv("digit recognizor.csv")# 手写体数字特征提取

X=data.iloc[:,1:] # 前面的标签不要

y=data.iloc[:,0]
y.unique()  # 想要知道每个数据上有多少数据

# 体现0-9共十个数字每个数字有多少个样本
a=data.groupby("label").count()

一、Filter过滤法

1、方差过滤

方差过滤：消除方差为0的数据。

为什么使用方差过滤？

1. 方差用来衡量随机变量或数据的离散程度（统计），或者衡量随机变量与数学期望（如均值）之间的偏离程度。
2. 方差小，表示样本在特征上基本无差异，这种情况对于样本区分的价值不高。
3. 消除方差为0的特征是特征工程的重要任务。使用threshold来进行筛选，默认为0。

在机器学习的数据预处理的过程中常常会是使用到过滤法，而方差过滤是过滤法之一。所谓的方差过滤就是过滤掉那些特征方差较小的特征。

比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没有什么作用。

所以可以设置一个过滤的阈值，过滤掉那些方差小的特征，从而达到特征筛选的目的。
在 sklearn中可以调用from sklearn.feature_selection import VarianceThreshold 类实现方差过滤。

---

以手写识别为例子：

from sklearn.feature_selection import VarianceThreshold
selector=VarianceThreshold() # 实例化，默认方差为0
X_var0=selector.fit_transform(X) # 获取具有特定价值的新特征矩阵
X_var0.shape # 使用方差进行过滤时，过滤掉了80+的数据

import numpy as np 
np.median(X.var().values)

# 以特征方差中位数为阈值，考察特征选择结果 
X_fsvar=VarianceThreshold(np.median(X.var().values)).fit_transform(X)

# 若特征是伯努利的随机变量，假设p=0.8 ：表示如果某一种分类站到80%以上时，要删除特征
X_bvar=VarianceThreshold(.8*(1-0.8)).fit_transform(X)
X_bvar.shape # (42000, 685) 大概消除了100个特征

from sklearn.feature_selection import VarianceThreshold
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.neighbors import KNeighborsClassifier as KNN
from sklearn.model_selection import cross_val_score   # 交叉验证

利用KNN和随机森林对全部特征，和以方差中位数为阈值的特征进行比较：

（1）使用KNN进行考察

过滤：特征选择。
比较KNN在方差过滤前后的准确度：

# KNN在方差过滤之前
cross_val_score(KNN(),X,y,cv=5).mean() # 0.9658

%%timeit   # 计算运行时间
cross_val_score(KNN(),X,y,cv=5).mean()

# KNN在方差过滤之后
cross_val_score(KNN(),X_fsvar,y,cv=5).mean() # 0.966

%%timeit # 计算运行时间
cross_val_score(KNN(),X_fsvar,y,cv=5).mean()

（2）使用随机森林(RFC)进行考察

# 随机森林考察特征选择效果
%%timeit
cross_val_score(RFC(n_estimators=10,random_state=0),X,y,cv=5).mean()

%%timeit
cross_val_score(RFC(n_estimators=10,random_state=0),X_fsvar,y,cv=5).mean()

使用方差过滤后的特征对KNN和RFC的影响：

1. 对两种算法的检测结果，可看出其模型精度是上升的，说明方差过滤是有效的，即将随机模式设置为random——state=0之后大部分噪声都被过滤掉了。
2. 阈值较小被过滤的特征也会更少，模型表现不同会受影响，运行时间总体会少，但有时不明显。
3. 阈值较大被过滤的特征相对较多，模型表现可能会更好，因为噪声在某些算法下可能被过滤了，但也有可能是相反的，在运行时间方面肯定会降低。

tempdf=pd.DataFrame(X,y)
tempdf.reset_index(inplace=True)
tempdf

自定义函数：使用自定义函数提炼数据中两个特征之间的相关系数

#参考  自定义函数
import math

def PearsonFirst(X,Y):
    '''
        公式一
    '''
    XY = X*Y
    EX = X.mean()
    EY = Y.mean()
    EX2 = (X**2).mean()
    EY2 = (Y**2).mean()
    EXY = XY.mean()
    numerator = EXY - EX*EY                                 # 分子
    denominator = math.sqrt(EX2-EX**2)*math.sqrt(EY2-EY**2) # 分母
    
    if denominator == 0:
        return 'NaN'
    rhoXY = numerator/denominator
    return rhoXY

def PearsonSecond(X,Y):
    '''
        公式二
    '''
    XY = X*Y
    X2 = X**2
    Y2 = Y**2
    n = len(XY)
    numerator = n*XY.sum() - X.sum()*Y.sum()                                            # 分子
    denominator = math.sqrt(n*X2.sum() - X.sum()**2)*math.sqrt(n*Y2.sum() - Y.sum()**2) # 分母
    
    if denominator == 0:
        return 'NaN'
    rhoXY = numerator/denominator
    return rhoXY

r1=PearsonFirst(tempdf['label'],tempdfempdf['pixel400']) # 使用公式一计算X与Y的相关系数
r2=PearsonFirst(tempdf['label'],tempdfempdf['pixel400']) # 使用公式二计算X与Y的相关系数
tempdf.corr(method="pearson") # 耗时太长，了解即可

---

2、相关性过滤

选出与标签相关且有意义的特征。

（1）卡方过滤

1. 专门针对离散型的标签（分类问题，如0,1,2…），使用sklearn.feature_selection.chi2计算每个非负特征（标准化，归一化过程）和标签之间的卡方统计量。根据统计量进行排名，并结合sklearn.feature_selection.chi2输入评选标准来选择K个特征。
2. 卡方检测中若检测到某特征中所有值都相同，会提示使用方差过滤法进行先行处理。
3. 卡方过滤一般使用经过中位数参数方差过滤后的特征数据进行，但若模型表现下降，则使用无过滤的原数据。

from sklearn.ensemble import RandomForestClassifier as RFC 
from sklearn.model_selection import cross_val_score 		#交叉验证
from sklearn.feature_selection import SelectKBest 
from sklearn.feature_selection import chi2 			#卡方

# 假设需要300个特征
X_fschi = SelectKBest(chi2, k=300).fit_transform(X_fsvar, y)   
# 从使用中位数方差过滤后的特征中选择
X_fschi.shape

（2） 用随机森林进行比较特征选择

# 用随机森林进行比较特征选择
cross_val_score(RFC(n_estimators=20,random_state=0),X_fschi,y,cv=10).mean()

计算时间：

（3）选取超参数

k到底选择多大最合适？利用算法+学习曲线进行判断

# 选取超参数
%matplotlib inline 
import matplotlib.pylab as plt
score=[]
for i in range(390,200,-10):
    X_fschi=SelectKBest(chi2,k=i).fit_transform(X_fsvar,y)
    once=cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=5).mean()
    score.append(once)
plt.plot(range(390,200,-10),score)
plt.show()

如下图，最高大约在94%，因此K值大约选在380位置处。

对应score如下：

从特征工程的角度，选取卡方值较大，P值小于0.05的特征 ,即与标签有较大相关性。返回k值进行检验

chivalue,pyvalues_chi=chi2(X_fsvar,y) # 输入特征矩阵与标签
k=chivalue.shape[0]-(pyvalues_chi>0.05).sum() # 去除与标签无关的相关值
X_fschi=SelectKBest(chi2,k=k).fit_transform(X_fsvar,y)
cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=5).mean
# n_estimators=10 选取10颗树，使用RFC来进行交叉验证

k=chivalue.shape[0]-(pvalues_chi>0.05).sum() # 去除与标签无关的相关值
# 大于0.05表示与标签无关

求出K值，就可以用在下面的代码中：

X_fschi=SelectKBest(chi2,k=k).fit_transform(X_fsvar,y)
cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=5).mean()

如果使用全特征呢？

# 如果使用全特征呢？
chivalue,pvalues_chi=chi2(X,y) # 输入特征矩阵和标签
k=chivalue.shape[0]-(pvalues_chi>0.05).sum() # 去除与标签无关的相关值
k

可以看到全特征计算出的K值更多：↑

但是准确度小于中位数特征值处理后的准确度：↑

总结卡方检验的作用：

推测两组数据之间的差异，原假设是：两组数据之间是相互独立的。返回卡方值和P值这两个统计量。

P值	<0.05或者0.01	>0.05或者0.01
数据差异	差异不是自然形成的	差异是自然形成的
相关性	两组数据是相关的	两组数据是相互独立的
原假设	拒绝原假设	接受原假设

从特征工程的角度，选取卡方值较大，P值小于0.05的特征，即与标签有较大相关性。返回K值进行检验。

调用SelectKBest之前，直接从chi2实例化后的模型中获得各个特征所对应的卡方值和P值。

（4）F检验

1. F检验是用来捕捉每个特征与标签之间的线性关系的过滤方法。
2. 可回归，可分类，故包含（离散型变量feature_selection.f_classif）和（连续型变量feature_selection.f_regression）两类。
3. 需要与SelectKBest联合使用，即也需要有超参数
4. 在正态分布情况下效果稳定
5. 原假设：数据之间不存在显著的线性关系。返回F和P值。小于0。05或者0.01代表显著性相关

from sklearn.feature_selection import f_classif
F,pvalues_f=f_classif(X_fsvar,y)
F 

P值当中存在大量的0：↓

接着求出K值后，代入随机森林当中做计算：

X_fsF=SelectKBest(f_classif,k=k).fit_transform(X_fsvar,y)
cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=5).mean()

（5）互信息法

1. 两个随机变量的互信息（mutual information）是变量之间相互依赖性的量度
2. 互信息度量是两个随机变量共享的信息——知道随机变量x,对随机变量Y的不确定性减少的程度（或者知道随机变量Y，对随机变量X的不确定性减少的程度），用I（X：Y）表示
3. 特征与标签之间可能存在任意关系（线性和非线性）
4. 可回归，可分类，feature_selection.mutual_info_classif（互信息分类）和feature_selection.mutual_info_regression（互信息回归）
5. 不返回P或者F，返回的是每个特征与目标特征之间互信息量的估计值，【0,1】之间取值

#X_fsvar 利用中位数取的特征，使用的是互信息法的方式
from sklearn.feature_selection import mutual_info_classif as MIC
result = MIC(X_fsvar,y) 
result

k = result.shape[0] - sum(result <= 0)
k

根据算出的K值，计算交叉验证得到的准确度：

X_fsmic = SelectKBest(MIC, k=k).fit_transform(X_fsvar, y)
cross_val_score(RFC(n_estimators=10,random_state=0),X_fsmic,y,cv=5).mean()

二、Embedded嵌入法

1. 嵌入法是一种让算法自己决定使用哪些特征的方法，即特征选择和算法训练同时进行。
2. 先使用某些机器学习的算法和模型进行训练
3. 得到各个特征的权值系数，根据权值系数从大到小选择特征
4. 有别于过滤法的 “ 手工 ” 操作方式：过滤法使用统计量（如P值），但嵌入法的权值系数没有参考临界值
5. 应用feature_selection.SelectFromModel元变换器。可以与任何在拟合之后有coef_（回归系数），feature_importances_属性或参数中可选惩罚项的评估器一起使用，如随机森林和树模型

from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import RandomForestClassifier as RFC
RFC_ = RFC(n_estimators =10,random_state=0)  
X_embedded = SelectFromModel(RFC_,threshold=0.005).fit_transform(X,y)  
X_embedded.shape

# 模型的维度有没有降低？
#学习曲线来找最佳阈值

import numpy as np
import matplotlib.pyplot as plt

RFC_.fit(X,y).feature_importances_
threshold = np.linspace(0,(RFC_.fit(X,y).feature_importances_).max(),20)
score = []
for i in threshold:
    X_embedded = SelectFromModel(RFC_,threshold=i).fit_transform(X,y)
    once = cross_val_score(RFC_,X_embedded,y,cv=5).mean()
    score.append(once)
plt.plot(threshold,score)
plt.show()

将最高部分的学习曲线进行放大：

score2 = []
for i in np.linspace(0,0.004,20):
    X_embedded = SelectFromModel(RFC_,threshold=i).fit_transform(X,y)
    once = cross_val_score(RFC_,X_embedded,y,cv=5).mean()
    score2.append(once)
plt.figure(figsize=[20,5])
plt.plot(np.linspace(0,0.004,20),score2)  
plt.xticks(np.linspace(0,0.004,20))  
plt.show()

三、Wrapper包装法

1. 特征选择与算法（并非随机森林等）训练同时进行，类似嵌入法
2. 不同：使用目标函数作为黑盒帮助选取特征，而非自己输入某个评估指标或者统计量的阈值
3. 从coef_或者feature_importances_属性获取每个特征的重要性
4. 修建当前特征组中最不重要的特征，在修建的集合上递归重复该过程，直到最终达到所需数量的特征
5. 要使用特征子集进行多次训练，计算成本较高，但其所选的特征是最有利于提升模型表现的

# 使用包装法
from sklearn.feature_selection import RFE
RFC_ = RFC(n_estimators =10,random_state=0)  
selector = RFE(RFC_,n_features_to_select=340,step=50).fit(X,y) 
selector.support_.sum()

selector.ranking_

X_wrapper=selector.transform(X)
cross_val_score(RFC_,X_wrapper,y,cv=5).mean() 
# 使用sklearn的cross_val_score进行交叉验证

#调参 100
from sklearn.feature_selection import RFE
RFC_ = RFC(n_estimators =100,random_state=0) 
selector = RFE(RFC_, n_features_to_select=340, step=50).fit(X, y)  # 特征选择340个，每个步骤做50个参数的调整
selector.support_.sum() 
selector.ranking_  
X_wrapper = selector.transform(X) # 通过包装法得到最优结果
cross_val_score(RFC_,X_wrapper,y,cv=5).mean() # 使用交叉验证计算准确性