特征选择笔记

(一)特征选择的目的

在项目中,可能会有大量的特征可使用,有的特征携带的信息丰富,有的特征携带的信息有重叠,有的特征则属于无关特征,如果所有特征不经筛选地全部作为训练特征,会增加不必要的计算负担,甚至会降低模型的准确性,如果只选择关键特征构建模型,可以减少算法的运行时间,也可以增加模型的可解释性。

(二)过滤式特征选择

1. 过滤式特征选择的常见方法

Chi-squared test(卡方检验)
Information gain(信息增益)互信息方法、最大信息系数方法
Correlation coefficient scores(相关系数)距离相关系数 Pearson相关系数
Relief

2. 卡方检验的局限性

只适用于分类问题中离散型特征筛选,不能用于分类问题中连续型特征的筛选,也不能用于回归问题的特征筛选。

from sklearn.feature_selection import SelectKBest ,chi2
#选择相关性最高的前5个特征
X_chi2 =<

猜你喜欢

转载自blog.csdn.net/dragon_T1985/article/details/121155406