今日完成
1.leetcode刷题三道,分别是
LeetCode-414. 第三大的数
leetcode-448.找到所有数组中消失的数字
leetcode-628.三个数的最大乘积
2.网易云课程——机器学习吴恩达第七章 正则化
机器学习总结
第七章 正则化(Regularization)
7.1 过拟合问题
什么是过拟合问题?
过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看出,若给出一个新的值使之预测,它将表现的很差,是过拟合。
怎么处理过拟合问题?
1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征,或者使用一些模型选择的算法来帮忙(例如 PCA)
2.正则化。 保留所有的特征,但是减少参数的大小( magnitude)。
7.2 代价函数
正则化的基本方法是什么?
在一定程度上减小某些项的参数θ的值
假如我们有非常多的特征,但是并不知道其中哪些特征要惩罚,怎么办?
将对所有的特征进行惩罚,以下是一个较为简单的能防止过拟合问题的假设:
λ是正则化参数。那为什么增加的一项 可以使θ的值减小呢?
因为如果我们令λ 的值很大的话,为了使 Cost Function 尽可能的小,所有的 θ的值
(不包括θ0)都会在一定程度上减小。
7.3 正则化线性回归
- 正则化线性回归的代价函数是什么?
- 运用梯度下降法是上面的代价函数最小化,那么θ的更新公式是什么?
7.4 正则化的逻辑回归模型
- 正则化逻辑回归的代价函数是什么?
- 最小化代价函数,通过求导,得出梯度下降算法是什么?