机器学习 降维

降维

1、简介

当特征选择完成后，可以直接训练模型了，但是可能由于特征矩阵过大，导致计算量大，训练时间长的问题，因此降低特征矩阵维度也是必不可少的。常见的降维方法除了以上提到的基于L1惩罚项的模型以外。
另外还有主成分分析法（PCA）和线性判别分析（LDA），线性判别分析本身也是一个分类模型。PCA和LDA有很多的相似点，其本质是要将原始的样本映射到维度更低的样本空间中，但是PCA和LDA的映射目标不一样：

• PCA是为了让映射后的样本具有最大的发散性
• 而LDA是为了让映射后的样本有最好的分类性能。

所以说PCA是一种无监督的降维方法，而LDA是一种有监督的降维方法。

2、使用方法

• 主成分分析法（PCA）

使用decomposition库的PCA类选择特征的代码如下：

from sklearn.decomposition import PCA
selected_feeature = PCA(n_components=2).fit_transform(features)
print(selected_feeature)

• 线性判别分析法（LDA）

使用LDA进行降维的代码如下：

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA
selected_feeature = LDA(n_components=n).fit_transform(features, target)
print(selected_feeature)

总结

特征工程包含下面几个部分：

1. 数据预处理：标准化， 区间缩放， 二值化， 哑编码， 缺失值处理， 多项式变换， 函数变换
2. 特征选择： 方差选择， 卡方检验， 递归消除， 基于模型消除
3. 数据降维： PCA， LDA