神经网络dropout

对损失函数进行优化,有时会造成过拟合现象,降低模型的泛化能力。即模型在训练集上表现好,而在测试集上表现差。防止神经网络过拟合现象的方法有增加正则化项、dropout和调节学习率等方法。本节为防止过拟合,设置dropout,限制模型的复杂度。在训练时,以概率p随机去掉部分神经元,作用于小批量数据,每次的训练的神经网络是原水神经网络的子集,相当于提供了一种轻量级的bagging方法。在测试时,每个神经元的参数预先乘p。

参考链接
https://www.bilibili.com/video/av43534076?from=search&seid=3841636000455878666
https://zhuanlan.zhihu.com/p/96853263

发布了73 篇原创文章 · 获赞 10 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/Jiiaaaoooo/article/details/104987638
今日推荐