什么是梯度下降法？
● 不是一个机器学习算法
● 是一种基于搜索的最优化方法
● 作用：最小化一个损失函数
● 梯度上升法：最大化一个效用函数
损失函数：
● η称为学习率(learning rate)
● η的取值影响获得最优解的速度
● η取值不合适，甚至得不到最优解
● η是梯度下降法的一个超参数
η取值的不同，导致的结果也可能不同：
有些函数不止有一个极值点：
那么如何才能获得全局最优解呢？
解决方案：
● 多次运行，随机化初始点
● 梯度下降法的初始点也是一个超参数
在线性回归法中使用梯度下降法：
线性回归法的损失函数具有唯一的最优解
参考资料：bobo老师机器学习教程
