【吴恩达深度学习专栏】神经网络的编程基础(Basics of Neural Network programming)——逻辑回归中的梯度下降(Logistic Regression Gradient

2.9 逻辑回归中的梯度下降(Logistic Regression Gradient Descent)

本节我们讨论怎样通过计算偏导数来实现逻辑回归的梯度下降算法。它的关键点是几个重要公式,其作用是用来实现逻辑回归中梯度下降算法。但是在本节视频中,我将使用计算图对梯度下降算法进行计算。我必须要承认的是,使用计算图来计算逻辑回归的梯度下降算法有点大材小用了。但是,我认为以这个例子作为开始来讲解,可以使你更好的理解背后的思想。从而在讨论神经网络时,你可以更深刻而全面地理解神经网络。接下来让我们开始学习逻辑回归的梯度下降算法。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
现在进行最后一步反向推导,也就是计算w和b变化对代价函数L的影响,特别地,可以用:

在这里插入图片描述在这里插入图片描述在这里插入图片描述
现在你已经知道了怎样计算导数,并且实现针对单个训练样本的逻辑回归的梯度下降算法。但是,训练逻辑回归模型不仅仅只有一个训练样本,而是有m个训练样本的整个训练集。因此在下一节视频中,我们将这些思想应用到整个训练样本集中,而不仅仅只是单个样本上。

发布了827 篇原创文章 · 获赞 1169 · 访问量 15万+

猜你喜欢

转载自blog.csdn.net/qq_35456045/article/details/105061402