吴恩达机器学习笔记——梯度下降法

1:假设函数的参数更新要做到同时更新,即先将求得的参数放在统一的temp中,然后同时赋值给对应的参数w0,w1,w2,w3.....

2:特征缩放和收敛速度问题

倘若,特征向量中一些特征值相差太大,就会导致代价函数特征参数的函数曲线很密集,以至于需要多次迭代才能达到最小值。

学习率:决定算法收敛的速度,较大的学习率,收敛速度较快,但是可能超过局部最小值,以至于代价函数不再收敛。

而较小的学习率,固然可以避免出现超过代价函数局部最小值问题,但是由于学习率较小很可能要通过很多事迭代,才能收敛到代价函数的局部的最小值。上面两个弊端要衡量把握好。

猜你喜欢

转载自blog.csdn.net/qq_37599517/article/details/83021469
今日推荐