为什么会有残差网络?
网络越深准确率越高吗？
一说起深度学习,自然也就想到了它非常显著的特点"深"，通过很深层次的网络实现准确率非常高的图像识别、语音识别等。因此,我们大家很自然就想到:深的网络肯定比浅的网络效果好,如果要进一步提升模型的准确率,最直接的方法就是把网络设计的更深,这样模型的准确率也会越来越准确。
那现实是这样吗？我们先来看几个经典的图像识别深度学习模型
这几个模型都是在世界顶级比赛中获奖的著名模型,然而这些网络的层次也并没有那么深,最多的也就22层而已,这种算是深度学习吗？为什么不把网络层次加到成百上千层呢？
带着这个问题,我们先来看一个实验,对于常规网络(plain netword，平原网络)直接堆叠很多层次,经对图像识别结果进行检验,训练集、测试集的误差结果如下图:
从上面两个图可以看出,在网络很深的时候模型的效果越来越差了(误差率越来越大),并不是我们所想的网络越深越好。
通过实验可以发现: