多重共线性——岭回归定义+岭迹分析+岭参数选择

1、岭回归的定义

先看一个例子：

x1、x2是给定的，模拟的方法产生10个正态随机数，作为误差项，见第（3）行。然后再由回归模型计算出10个y值。


添加k

k不是唯一确定的，下面是不同的k对应的参数值：

图示：

当k为0时，即普通线性回归，参数较大，k逐渐变大，B2由负变正，并且两参数的绝对值都变小，并且稳定下来。

岭回归的参数是有偏估计

2、岭迹分析

3、岭参数k的选择

用岭迹法：
（1）各回归系数的岭估计基本稳定；
（2）用最小二乘估计时符号不合理的回归系数，其岭估计的符号变得合理；
（3）回归系数没有不合乎经济意义的绝对值；
（4）残差平方和增大不太多。