因为梯度是指数级变化的，所以深度神经网络很容易出现梯度消失或者梯度爆炸的问题。针对这个问题的很有效的方法是更加谨慎地选择随机初始化参数。
主要讨论四种权重初始化方法：把w初始化为0、对w随机初始化、Xavier initialization、He initialization（在ReLu网络中最常用）。
- 把w初始化为0
parameters= np.zeros()。
如果只是在线性回归的话这样初始化是可以的，但是在神经网络中把w初始化为0是不可以的，因为这样会导致每一层的神经网络学习到的东西是一样的，并且在bp的时候每一层内的神经元也是相同的。
2.对w随机初始化
parameters= np.random.randn()*0.01
早期最常用的方法，乘以0.01是因为要把w随机初始化到一个相对比较小的值。但是随机初始化也有缺点，np.random.randn()其实是一个均值为0，方差为1的高斯分布中采样。当神经网络的层数增多时，会发现越往后面的层的激活函数（如使用tanH）的输出值几乎都接近于0，这会导致梯度消失。
3.Xavier initialization
parameters= np.random.randn()* np.sqrt(1 / layers_dims[l - 1]) # layers_dims[l - 1]是前一层神经元的数量
Xavier initialization就是尽可能的让输入和输出服从相同的分布，这样就能够避免后面层的激活函数的输出值趋向于0。这种方法适用于激活函数是tanh，但不适合于激活函数是ReLu。
4.He initialization
parameters= np.random.randn()* np.sqrt(2 / layers_dims[l - 1])
这种方法是由何恺明大神提出的，吴恩达老师也经常使用的方法。在激活函数是ReLu中，效果很好，是目前权重初始化最常用的方法。
实际上，以上这些公式只是给出了权重初始化的一个起点，给出了初始化权重矩阵的默认值，可以给公式
添加一个乘数参数，将该参数作为调参的一部分，虽然这个调参应该优先级很低。
注：使用Batch Normalization Layer可以有效降低深度网络对weight初始化的依赖。
