梯度下降 from 吴恩达的机器学习

梯度下降:用来求函数最小值的算法,使用梯度下降算法来求出代价函数的最小值。

梯度下降思想是:开始时我们随机选择一个参数的组合 ,计算代价函数,然后我们寻找下一个能让代价函数值下降最多的参数组合。我们持续这么做直到到到一个局部最小值(local minimum),因为我们并没有尝试完所有的参数组合,所以不能确定我们得到的局部最小值是否便是全局最小值(global minimum),选择不同的初始参数组合,可能会找到不同的局部最小值。

批量梯度下降(batch gradient descent)算法的公式为:

实现梯度下降算法的微妙之处是,在这个表达式中,如果你要更新这个等式,你需要同时更新 



猜你喜欢

转载自blog.csdn.net/melon__/article/details/80496207