这一系列论文主要探究的是如何scale up网络(加深和变宽两个方面)的同时,尽可能减少计算量。
一、Inceptionv1
论文名称:Going deeper with convolutions(可精读)
简介:GoogleNet的最早版本,当年ImageNet大赛的的第一,基于NIN网络提出。
亮点:
- 提出了Inception module,代替人工决定了卷积层或池化层的大小或者是否添加这些层,提高了模型的尺度适应性(详见参考文献【1】),使得网络更宽。
- 应用了NIN网络中的1*1 conv,用于降维,减少计算量。
参考:
看Inceptionv1 问题部分即可。
【2】系统学习深度学习(十九)--GoogLeNetV1,V2,V3
这篇博文基本把论文的要点都翻译总结了一遍,比较详细。
二、Inceptionv2
论文名称:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift(论文没看)
简介:提出了批标准化,一种常用的优化策略。通常和minibatch一起使用。
参考:
吴恩达《深度学习》微专业课对此有较详细的讲解。在改善深层神经网络部分第三周内容。
三、Inceptionv3
论文名称:Rethinking the Inception Architecture for Computer Vision(精读2、3部分,4、5、7了解)
简介:在v2的基础上进行的改进。
改进点:
- 分解卷积。(个人理解:VGG里面已经应用了这一方法,不过这篇论文升华了一下,使得更加系统)
- 辅助分类器的使用(我还没看这部分。。。)
- 池化层优化:为了减少计算量,怎么实现的看论文中的图即可。
- 平滑标签:为了提升精确度。如何实现的要看懂公式。
参考:
【1】系统学习深度学习(十九)--GoogLeNetV1,V2,V3
把要点概括得很详细。
四、ResNet(不属于该系列)
论文名称:Deep Residual Learning for Image Recognition(不长,精读)
简介:第一作者何凯明,2015年提出的。在VGG19上修改的。
要点:提出了残差块用于解决退化问题。通过短路连接(shortcut connection,另外skip connection也指的这个)实现等效映射(identity mapping)。
参考
五、Inceptionv4
论文名称:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning
没有细看论文,只知道是用Inception module代替了原本残差块中卷积部分。
若要进一步探究可看一文概览Inception家族的「奋斗史」
之后一些人对Inception网络做了进一步的改进,可看从Inception v1,v2,v3,v4,RexNeXt到Xception再到MobileNets,ShuffleNet,MobileNetV2 反正我还没看。
下一步学习任务:看VGG16、GoogLeNet、Inception-ResNet的Tensorflow代码并试运行。