AlexNet----Dropout

一、介绍

AlexNet最后2个全连接层中使用了Dropout，因为全连接层容易过拟合，而卷积层不容易过拟合。

1.随机删除网络中的一些隐藏神经元，保持输入输出神经元不变；

2.将输入通过修改后的网络进行前向传播，然后将误差通过修改后的网络进行反向传播；

3.对于另外一批的训练样本，重复上述操作1

二、作用、原理

1.相对于训练大量模型耗费大量时间，dropout在AlexNet中只需花费2倍的训练时间。

2.引入稀疏性。因为部分神经元被删除，原来有些特征可能会依赖于固定关系的隐含节点的共同作用，通过Dropout的话，就有效地阻止了某些特征在其他特征存在下才有效果的情况。

3.类似模型集成。在Dropout训练过程中，网络因为随机删除节点，导致实际上存在多种网络结构，却共用一组参数。