暑期计划-7.25

今日完成

1.leetcode刷题三道,分别是

LeetCode-414. 第三大的数
leetcode-448.找到所有数组中消失的数字
leetcode-628.三个数的最大乘积

2.网易云课程——机器学习吴恩达第七章 正则化

机器学习总结

第七章 正则化(Regularization)

7.1 过拟合问题

  • 什么是过拟合问题?

    过于强调拟合原始数据,而丢失了算法的本质:预测新数据。我们可以看出,若给出一个新的值使之预测,它将表现的很差,是过拟合。

  • 怎么处理过拟合问题?

    1.丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征,或者使用一些模型选择的算法来帮忙(例如 PCA)
    2.正则化。 保留所有的特征,但是减少参数的大小( magnitude)。

7.2 代价函数

  • 正则化的基本方法是什么?

    在一定程度上减小某些项的参数θ的值

  • 假如我们有非常多的特征,但是并不知道其中哪些特征要惩罚,怎么办?

    将对所有的特征进行惩罚,以下是一个较为简单的能防止过拟合问题的假设:
    这里写图片描述
    λ是正则化参数。

  • 那为什么增加的一项 可以使θ的值减小呢?
    因为如果我们令λ 的值很大的话,为了使 Cost Function 尽可能的小,所有的 θ的值
    (不包括θ0)都会在一定程度上减小。

7.3 正则化线性回归

  • 正则化线性回归的代价函数是什么?
    这里写图片描述
  • 运用梯度下降法是上面的代价函数最小化,那么θ的更新公式是什么?
    这里写图片描述

7.4 正则化的逻辑回归模型

  • 正则化逻辑回归的代价函数是什么?
    这里写图片描述
  • 最小化代价函数,通过求导,得出梯度下降算法是什么?
    这里写图片描述

猜你喜欢

转载自blog.csdn.net/lwycc2333/article/details/81210019
今日推荐