一）简介
ILSVRC 2015分类任务的头名，便由ResNet摘得。经过这些年的发展，ResNet已经是当前应用最为广泛的CNN特征提取网络。
二）ResNet模型介绍
之前的网络模型都表明，深度对提高性能有着显著作用。但在实际训练中，过高的深度往往伴随着地梯度消失或梯度爆炸，而且过深的网络还会导致准确率下降。因此，简单的网络层数堆叠，并不能得到大家预期的结果。
2.1）Highway Network
引自： https://blog.csdn.net/u011974639/article/details/76737547
在ResNet之前，瑞士教授Schmidhuber提出了Highway Network,原理和ResNet很像，Schmidhuber教授有着一个更出名的发明–LSTM网络。
- Highway Network解决的问题?
通常认为神经网络的深度对其性能非常重要，而在增加网络深度的同时随之而来的是网络训练难度增大，Highway Network的目标就是解决极深的神经网络难以训练的问题。 - Highway Network的原理?
Highway Network相当于修改了每一层激活函数，此前的激活函数是对输入信号做了非线性变换y=H(x,W),Highway Network则允许保留一定比例的原始输入x,即y=H(x,W1)T(x,W2)+xC(x,W3),这里T为变换系数，C为保留系数。在这样的设定下，前面一层的信息，有一定比例的可以直接传输到下一层(不经过矩阵乘法和激活函数变换),如同网络传输中的一条高速公路，因此得名Highway Network。Highway Network主要通过gating units学习如何控制网络中的信息流，即学习原始信息应保留的比例。这个可学习的gatting机制，正是借鉴Schmidhuber教授早年的的LSTM网络中的gatting。这正是Highway Network的引入，使得几百层乃至上千次的网络可以训练了。 - ResNet网络和Highway Network有啥关系?
ResNet和Highway Network非常相似，都是针对网络随着深度的变化而引发的问题，而Highway Network的解决思路给ResNet提供了解决办法.(下面详解ResNet的问题引出)
2.1）深度残差学习（Deep Residual Learning）
https://blog.csdn.net/dulingtingzi/article/details/79870486
https://blog.csdn.net/wspba/article/details/60572886