数据预处理和权重初始化

图二是0中心化数据:每一个数据样本除以所有的样本均值得到。缺点:数据Y轴变化幅度(抖动幅度)比X轴要大;

图三是归一化数据:需要求数据样本的方差。数据x和y值都在0,1之间。


权重初始化:

1、网络权重不能够(全部?部分?)初始化为0;

2、网络权重不能全部初始化为同一个数值,比如1?,2?,这样都不好。这样网络在反向传播更新权重的时候,都是朝着同一个方向进行更新,没有侧重点来更新网络参数,会导致收敛周期非常长。

3、通常使用高斯初始化或者随机初始化。

4、bias初始化:0或者1比较普遍的初始化方式。


drop-out:随机选择输出为0

优点:使得神经网络的结构变得简单点,降低网络的过拟合现象;

          计算量变小,加快网络收敛。



猜你喜欢

转载自blog.csdn.net/wzw12315/article/details/80904384