【听课笔记】数据挖掘竞赛——特征工程中的开发与技巧
写在前面
有机会在老师的指引下听了下此次
【课程：特征工程中的开发与技巧】。课程主要是由近期一场温室温度数据预测比赛的大佬，分享了他在这次比赛实战中取得优异成绩的方法与技巧。是非常好的学习资源，故在这里用博客的形式记录下课程内容。课程中这位老师首先简单介绍了时间序列预测任务 ，然后讲了特征工程的常见操作主要包括 数据清洗、特征构造和特征选择。最后老师分享了他在此次比赛中的一些上分技巧
1. 时间预测任务简介
时间序列预测是指按照时间顺序观察事物的变换。通常会利用同一变量的历史值预测未来值，或者也可以加入一些预测因子来预测未来值。前者称为单变量时间序列预测，后者称为多变量时间序列预测。通常我们指的时间序列预测都是考虑定期观察的时间序列（如每分、每小时、每天、每周等）。比较经典的案
例有：降水量预测、销售预测、流量预测等。
2. 特征工程常见操作
2.1 数据清洗：提高数据质量，降低算法用错误数据建模的风险
- 特征变换：模型无法处理或不适合处理
a) 定性变量编码：Label Encoder；Onehot Encoder；Distribution coding；
b) 标准化和归一化：z分数标准化（标准正态分布）、min-max 归一化； - 缺失值处理：增加不确定性，可能会导致不可靠输出
a) 不处理：少量样本缺失；
b) 删除：大量样本缺失；
c) 补全：（同类）均值/中位数/众数补全；高维映射（One-hot）；模型预测；最邻近/向后/向
前补全；矩阵补全（R-SVD）； - 异常值处理：减少脏数据
a) 简单统计：如 describe() 的统计描述；散点图等；
b) 3∂ 法则（正态分布）/箱型图截断；
c) 利用模型进行离群点检测：聚类、K近邻、One Class SVM、Isolation Forest； - 其他：删除无效列/ 更改dtypes/ 删除列中的字符串/ 将时间戳从字符串转换为日期时间格式等
2.2 特征构造：增强数据表达，添加先验知识
- 统计量特征：
a) 四分位数、中位数、平均数、标准差、偏差、偏度、峰度、离散系数等；
b) 构造长短期统计量；
c) 考虑时间衰减。 - 周期值：
a) 前 n 个周期/天/月/年的同期值；
b) 同比/ 环比； - 数据分桶：
a) 等频/等距分桶、Best-KS 分桶、卡方分桶； - 特征组合（先用强特征）：
a) 类别特征和类别特征：笛卡尔积；
b) 类别特征和连续特征：连续特征分桶后进行笛卡尔积，或者基于类别特征进行 groupby 操作，
类似聚合特征的构造；
c) 连续特征和连续特征：加减乘除，或者二阶差分等
2.3 特征选择：降低噪声，平滑预测能力和计算复杂度，增强模型预测性能
- 过滤式（Filter）：先用特征选择方法对初识特征进行过滤，然后再训练学习器，特征
选择过程与后续学习器无关。
a) 方差选择/ 相关系数/ 卡方检验/ 互信息法 - 包裹式（Wrapper）：直接把最终将要使用的学习器的性能作为衡量特征子集的评价准
则，其目的在于给定学习器选择最有利于其性能的特征子集。
a) Recursive Feature Elimination (RFE)
b) Las Vegas Wrapper(LVM)；
c) 单特征建模模型； - 嵌入式（Embedding）：结合过滤式和包裹式方法，将特征选择与学习器训练过程融
为一体，两者在同一优化过程中完成，即学习器训练过程中自动进行了特征选择。
a) LR+L1或决策树
3. 温室温度预测上分小技巧
