[深度学习] 权值初始化 xavier和he_normal

一、概述与应用

(1)论文

    xavier论文：《Understanding the difficulty of training deep feedforward neural networks》

    he_normal论文：《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》

(2)Tensorflow API，initializer：

     tf.keras.initializers.he_normal()

     tf.contrib.layers.xavier_initializer()

二、原理

(1)xavier

(2)he_normal

三、实验对比

初始化对网络训练有巨大的影响。(避免在某一层的forward/backward中进入饱和区域，拖慢网络训练进程)

在n=5时，即网络深度为6n+2层=32层时，resnet训练mnist，不同初始化效果对比：

(1)N(0.1,0)正态分布初始化weight：初始loss约为350，训练0.5个epoch后loss下降到16

(2)he_normal()：初始loss约为150，训练0.5个epoch后loss下降到3.5，一个epoch就看达到97.82%的Test Error。