glorot
glorot_uniform
glorot服从均匀分布初始化，W~U(-limit, limit)。limit = sqrt(2/(fan_in, fan_out))。其中fan_in和fan_out分别是输入输出单元数。
glorot_normal
glorot服从高斯分布初始化，W~N(0, sqrt(6/(fan_in, fan_out)))。
参考文献：Glorot & Bengio, AISTATS 2010
—待续
神经网络中的权重初始化方法总结
猜你喜欢
转载自blog.csdn.net/xinxiang7/article/details/106075079
今日推荐
周排行