第十一章 特征选择与稀疏学习
- 特征定义
- 相关特征：对当前学习任务有用的属性
- 无关特征：对当前学习任务没有
- 冗余特征：包含的信息能从其他特征中推演出来
- 冗余特征在很多时候不起作用，去除它们会减轻学习过程的负担。但有时冗余特征会降低学习任务的难度
- 特征选择的两个环节：子集搜索、子集评价
- 子集搜索：“前向”搜索、“后向”搜索、“双向”搜索
- 子集评价：信息增益、能判断两个划分差异的机制
- 将特征子集搜索机制与子集评价机制相结合，即可得到特征选择方法
- 常见的特征选择方法有：过滤式、包裹式、嵌入式
- 过滤式：先对数据集进行特征选择、然后再训练学习器，特征选择过程与后续学习器无关
- 包裹式：特征选择直接吧最终将要使用的学习器的性能作为特征子集评价准则
- 嵌入式：将特征选择过程与学习器训练过程融为一体。两者在同一个优化过程中完成，即在学习器训练过程中自动地进行了特征选择
- 稀疏表示：当样本具有稀疏表达形式时，对学习任务来说会有不少好处，可能会使原来线性不可分的问题变为线性可分
- 字典学习：为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表示形式，从而使学习任务得以简化，模型复杂度得以降低
- 压缩感知：根据部分信息来恢复全部信息