各模型对比
回归
参考数据《机器学习实战》第八章
| 线性回归 | 公式 | 特点 |
|---|---|---|
| 普通最小二乘法 | 平均误差： 然后对w求导，得到: |
----- |
| - | 线性可能出现欠拟合，因为求得是最小均方误差的无偏估计。 所以有些方法允许引入一些偏差，从而降低预测的均方差。 其中一个方法为局部加权线性回归 |
- |
| 局部加权线性回归 | ||
| - | 当数据的特征比样本还多，不满秩，或相关性大时,或者用于在估计中加入偏差。 | - |
| 岭回归 | 引入λI，使矩阵非奇异，来限制所有w之和， 能够减少不重要的参数，同时成为所见。 |
- |
| lasso | 增加如下约束，普通的最小二乘法回归会得到与岭回归一样的公式： |
|
| — | ---- | — |
生活中大多数都是非线性的，树回归可对复杂和非线性的数据建模树回归
对比：树回归VS决策树
| 树回归 | 公式 | 特点 |
|---|