深度残差网络ResNet

        今天看了一下残差网络,看了几篇博客都没理解,继续看,终于被我弄清了。下面写一下心得。我说的是大方面的,小细节可以参看:https://my.oschina.net/u/876354/blog/1622896#comments,写的不错。

出现原因:随着网络层级的不断增加,模型精度不断得到提升,而当网络层级增加到一定的数目以后,训练精度和测试精度迅速下降,所以当网络变得很深以后,深度网络就变得更加难以训练了。残差网络可以解决这个问题,层数可以达到1000多层。

主要原理:利用了恒等映射不增加误差的原理,采用了跨层链接思想搭建网络。ResNet将学习目标改变了,不再是学习一个完整的输出,而是目标值H(X)和x的差值,也就是所谓的残差F(x) = H(x)-x,因此,后面的训练目标就是要将残差结果逼近于0,使到随着网络加深,准确率不下降。

残差网络的基本结构:


猜你喜欢

转载自blog.csdn.net/tommorrow12/article/details/80741980