深度学习-网络参数初始化Xavier与MSRA

权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）。可参考博客。

重点介绍xavier与msra。

xavier初始化

       对于权值的分布：均值为0，方差为（1 / 输入的个数） 的 均匀分布。推导过程参考博客

msra初始化

       对于权值的分布：基于均值为0，方差为( 2/输入的个数)的高斯分布；它特别适合 ReLU激活函数，该方法主要是基于Relu函数提出的，推导过程，可以参考博客。