[神经网络与深度学习] Shallow Neural Networks习题解析

这是[神经网络与深度学习]课程第三周的习题,一共10道。

image

解答:

本课程中[i]表示第i层神经网络,(i)代表第i个样本,而下标i表示某层神经网络上第i个神经元。X是将训练样本横向排列而来,a代表激励输出向量。

所以答案是选项1、3、4、6

image

解答:

课程中讲到,tanh的输出在-1和1之间,数据具有归一化的分布,使得下一层的学习变得更加简单。

答案是True

image

解答:

计算Z的时候需要前一层神经网络的激励输出A,其它都使用本层的参数。

答案是选项1

image

解答:

Sigmoid输出一个介于0和1之间的值,是二元分类的一个非常好的选择。如果输出小于0.5,则可以将其归类为0,如果输出大于0.5,则归类为1。

答案是选项3

image

解答:

代码中使用了keepdims = True确保A.shape为(4, 1),而不是(4, )。

答案是选项4

image

解答:

神经网络将W参数初始化为0会产生对称问题,也就是1所描述的,所以答案为选项1。

image

解答:

逻辑回归问题的W和b参数通常初始化为0,它不会引起神经网络的对称问题,其原因在于:
逻辑回归没有隐藏层。如果将权重初始化为零,则逻辑回归中的第一个示例x将输出零,但逻辑回归的导数取决于不是零的输入x(因为没有隐藏层)。因此,在第二次迭代中,如果x不是常量向量,则权值遵循x的分布并且彼此不同。

答案是False

image

解答:

tanh和sigmoid一样,对于较大的值曲线变得平坦,这导致其梯度接近于零,从而梯度下降速度变慢,所以W通常初始化为0附近的一个很小的数。

答案是选项3

image

解答:

记住W[l].shape=(n[l], n[l-1]), b[l].shape=(n[l], 1)这个公式,不难确定答案是选项2、3、5、8

image

解答:

Z和A的shape值一样,都是(n[l], m),所以答案是选项1。

相关习题解析:

  1. [神经网络与深度学习] Introduction to deep learning习题解析
  2. [神经网络与深度学习] Neural Network Basics习题解析

image

猜你喜欢

转载自blog.csdn.net/mogoweb/article/details/80526498