残差网络论文笔记

退化表明并非系统越深效果越好。对于更深的模型,这有一种通过构建的解决方案:恒等映射(identity mapping)(层输出等于输入)来构建增加的层,而其它层直接从浅层模型中复制而来。这个构建的解决方案也表明了,一个更深的模型不应当产生比它的浅层版本更高的训练错误率。

通过将逼近的内容变为H(x)-x,如果恒等映射是所要拟合的函数的话,那么只需要把权值全置为0就能逼近恒等映射。 即使最优值不是恒等映射而只是接近,那我们的操作也能起到预处理的作用,计算一个恒等映射的扰动(靠近恒等映射)比重新学习逼近一个函数要容易的多。

跳跃连接除了增加一点微不足道的加法计算之外,并没有增加参数数量,网络深度,宽度,和计算花费。

发布了18 篇原创文章 · 获赞 4 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/qq_33500066/article/details/81122783