特征提取与选择
特征
•特征：反映数据分布特点的关键信息。
•
•数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
•
•特征提取和特征选择都是从原始特征中找出最有效的特征。
•同类样本的不变性
•不同样本的鉴别性
•对噪声的鲁棒性
特征提取与特征选择
•特征抽取:将原始特征转换为一组具有明显物理意义、统计意义或核的特征，特征抽取后的新特征是原来特征的一个映射。
•特征选择:从特征集合中挑选一组最具统计意义的特征，达到降维的目的。特征选择后的特征是原来特征的一个子集。
特征选择或提取的作用
•减少数据存储和输入数据带宽
•消除噪声带来的影响
•避免高维度带来的计算困难
•能发现更有意义的潜在的变量
•
•特征之间是否可以比较？
•特征的描述是否符合事实？
•特征是否变得更少、更有利于分类？