机器学习入门笔记(五)----过拟合问题

上右边的图像，展示过拟合的情况。

过拟合问题，解决方法：

1.减少特征数量

2.正规化：保留所有特征，弱化特征参数。

正规化(regularization):

代价函数: 

1.线性回归：

 （1）梯度下降

对theta0不惩罚，其余theta引入正规化参数lamada。

（2） 方程法：

2.逻辑回归

与线性回归相同，加入theta惩罚项。

偏导（可用于梯度下降和Advanced optimization）: