CNN经典模型回顾
1. AlexNet
AlexNet可以算是第一个“深度”神经网络,主要创新在于网络深度的加深和防止过拟合的dropout以及防止梯度消失/爆炸的激活函数: ReLU.
2. VGG
相比于AlexNet,VGG更深了。同时,VGG采用了许多小卷积核,并引入了1×1卷积核,专门用来做特征降维。
3. Inception系列
Inception-v1的主要改进有二:一是将多个尺度的卷积核concatenate起来,形成了一个multi-scale的效果;二是采用了两个较浅层的辅助输出,防止因网络太深而带来的梯度消失问题。
Inception-v2和Inception-v3是在同一篇文章中提出的,最主要的贡献就是提出了Batch Normalization. Batch Normalization可以防止中间层的结果滑向激活函数的饱和区,同时也可以将中间层的数值归一化,进一步防止梯度消失和梯度爆炸问题。
4. ResNet
形如h(x) = x + f(x)的形式(其中f(x)可能是若干层卷积网络),使得h(x)的至少具备h(x) = x的表达能力,从而使得深层网络不会劣于较浅的网络。ResNet极大地提升了网络的深度。
5. DenseNet
与ResNet类似,DenseNet也是创建卷积层与卷积层之间的跳跃式连接,不同点主要有两点:一是DenseNet采用concatenate的方法而不是加法的方式集成来自不同卷积层的特征;二是DenseNet会在所有层两两之间构建直连,这也是DenseNet名字中”Dense”的含义。