深度学习笔记之Andrew Ng(4)

WEEK4:
最后一周的内容,讲的还是神经网络部分。但是升级成为了多层的深度神经网络,那么本质上,神经网络的原理还是不变的,那么在加深了神经网络的layer之后,我们在计算上,出现了一些不同。
先上图:
这里写图片描述
如图我们看到的是一个四层Hidden layer的神经网络,那么这个教程主要围绕如包括四层隐含层的神经网络的创建。

正向传播(Forward propagation):

如图,正向传播的公式,是把单层的layer变成多层的layer,然后在进行和单层神经网络一样的推导,求出每层每个神经元的值。
这里写图片描述

逆向传播(Back propagation):

这里,由于得到的是一个多层的神经网络,把每层都做一次正向传播与逆向传播的代码,显然是比较繁琐的,所以这里面,我们要改进我们的算法结构,如下图:
这里写图片描述
在这里,我们每计算出一层的w,b与a,就把他们都存在cache中,然后等待下一层神经元的计算,这样正向的计算与逆向的计算就一目了然了,这样,每得到一个y的同时,我们也得到了dw,db和dz,da。方便于计算。
这里写图片描述
这里写图片描述
以上两幅图片分别是正向传播中需要用到的参数,和逆向传播中的参数的求解。

超参数(hyperparameter):
一般来说,w,b等参数,是我们直接上操作的参数,那么还有一些能够影响这些参数的参数,如n,学习率a等,我们称之为超参数。这些在代码中,使用得当,可以使模型表现更好,准确率更高!

猜你喜欢

转载自blog.csdn.net/jxsdq/article/details/78297730
今日推荐