二手车售价预测赛题理解与EDA

二手车售价预测 赛题理解与EDA

一、赛题理解

1.1讲座重难点

• 赛题理解的关键（包括但不仅限）

  • 比赛的注意事项（数据源、特征说明、任务目标、评价指标（优化的方向））

  • 题目所给数据的隐藏条件
    

• 实战的一般流程
  由自己写的或者官方的Baseline
  

1.2对于本次题目的理解

1.2.1题目介绍

​ 给了一堆脱敏后的德国二手车数据（超370，000条样本），训练集 ‘used_car_train_20200313.csv’ 包含了20个特征，10万条数据，测试集一共有两个，各5万条测试样本。赛题要求用已知数据，预测而二手车的数量。

1.2.2问题分析

这是一道传统的结构性数据挖掘题目，使用机器学习或深度学习等方法进行建模得到回归预测的结果。

思路如下：

1. 由EDA（Exploratory Data Analysis）对数据进行探索，熟悉所给数据
2. 由EDA的结果对样本特征进行特征工程
3. 模型的训练
4. 调整参数与模型融合
5. 结果可视化与分析

1.2.3模型评价指标 $MAE(Mean Absolute Error)$
$MAE= \dfrac{1}{N} \sum_{i=1}^{N} \left| y_{i}- \hat y_{i} \right|$

二、EDA的处理

1. pandas.DataFrame.select_dtypes 中对列名的筛选.

Parameter include，exculede（类似列表）
包含/排除dtype或字符串的列表。
必须为至少其中之一传递非空序列。
return DataFrame（源DF的一个子集）
raises
ValueError
- include，exculede都为空
- include，exculede包含重叠元素
- 传入任何的字符串dtype

**TypeError**
传入参数不是序列

2.EDA绘图经验

1. 时序图 观察变量间的周期、振幅
2. 直方图、密度曲线 观察变量的分布情况
3. 多元图散点 观察变量间相关性
4. 箱型图、小提琴图 观察数据异常