论文相关信息

1.论文题目：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

2.发表时间：2017.04

3.文献地址：https://arxiv.org/abs/1704.04861

4.论文源码：

摘要

论文基于深度可分离卷积提出了一个可根据实际需求缩放模型的轻量级网络。

论文贡献：

基于深度可分离卷积提出MobileNets，并指出和标准卷积相比计算量和参数的差别。
提出宽度缩放系数和分辨率缩放系数来缩放模型。

1. 介绍

论文提出一种轻量级网络结构，以满足移动端和嵌入式端等的需求。

2. 相关工作

MobileNets基于深度可分离卷积，Inception模型之后也使用了该卷积，扁平化网络将三维卷积分解成多个一维卷积以减少参数量；分解网络引入分解卷积和拓扑连接；Xception提出扩展深度可分离卷积，得到优于nceptionV3的结果；SqueezeNet通过模块的方式设计一个小型网络。

获得小型网络的另一方法是缩小、分解或压缩预训练网络。基于乘积量化、哈希、剪枝、向量量化和哈夫曼编码的压缩方法；基于分解的方法；基于蒸馏，即由大网络指导小网络。

MobileNet Architecture

3.1. Depthwise Separable Convolution

在这里插入图片描述

图1.标准卷积滤波器(a)被分解为两层，深度卷积(b)和1×1的点卷积©。

MobileNet基于深度可分离卷积而设计，其主要思路是将标准卷积分解成一个深度卷积和一个点卷积。在MobileNets中，深度卷积通过对输入特征图的每个通道执行单个卷积操作得到，点卷积将深度卷积的结果整合。深度可分离卷积将标准卷积分成两层，如图1所示，一层用于过滤操作，一层用于结合。这样能够极大的减少计算量和减小模型尺寸，下面就怎么减少作说明。

这一部分计算量的分析，以及深度可分离卷积的示意图可参考知乎文章轻量级神经网络“巡礼”（二）—— MobileNet，从V1到V3 - 知乎 (zhihu.com)，比原论文清晰很多。

设标准卷积的输入特征图F的大小为 $D_F×D_F×M$ ，卷积后得到的输出特征图大小为 $D_F×D_F×N$ ,M、N分别为输入、输出特征图的通道数， $D_F$ 是输入输出特征图的空间维度上的宽或高（这里假设卷积前后空间尺寸不变，即stride=1，padding=1）。则标准卷积的卷积核K的参数量为 $D_K×D_K×M×N$ ， $D_k$ 是卷积核空间尺寸。

计算量为 $D_K×D_K×M×N×D_F×D_F$ 。

深度可分离卷积的参数量由深度卷积和逐点卷积两部分组成：

深度卷积的卷积核尺寸 $D_F×D_F×M$ ；逐点卷积的卷积核尺寸为 $1 \times 1 \times M$ ，一共有N个，所以深度可分离卷积的参数量是： $D_K×D_K×M+M×N$ 。

深度可分离卷积的计算量也是由深度卷积和逐点卷积两部分组成：

深度卷积的卷积核尺寸 $D_F×D_F×M$ ，一共要做 $D_F×D_F$ 次乘加运算( $D_F×D_F$ 是输出特征图的空间尺度)；逐点卷积的卷积核尺寸为1×1×M，有N个，一共要做 $D_F×D_F$ 次乘加运算，所以深度可分离卷积的计算量是： $D_K×D_K×M×D_F×D_F+M×N×D_F×D_F$

深度可分离卷积的计算量/标准卷积计算量= $\frac{D_K×D_K×M×D_F×D_F+M×N×D_F×D_F}{D_K×D_K×M×N×D_F×D_F}=\frac{1}{N}+\frac{1}{D_K^2}$

而我们通常所使用的是3×3的卷积核，也就是会下降到原来的九分之一到八分之一，精度只下降一点。

3.2. Network Structure and Training

在这里插入图片描述

MobileNets 的网络架构如表1所示，除了第一层使用的一个3x3的标准卷积，其它所有卷积层都使用深度可分离卷积（Conv dw / s2 + Conv / s1），网络下采样通过令stride=2实现，最后接一个全局平均池化层将空间维度减小为1，然后传入全连接层以及用于分类的SoftMax层，所有的卷积层后都跟一个batchnorm和非线性激活层ReLU，最后的全连接层例外，没有非线性层。把深度卷积层和点卷积层视为单独的层，则整个网络有28层，其中深度可分离卷积层有13层。

需要注意的是，标准卷积和深度可分离卷积添加BN和ReLU有些不同，如下图所示。

在这里插入图片描述

上图左边是标准卷积层，右边是V1的卷积层。V1的卷积层，首先使用3×3的深度卷积提取特征，接着是一个BN层，随后是一个ReLU层，在之后就会逐点卷积，最后就是BN和ReLU了。这也很符合深度可分离卷积，将左边的标准卷积拆分成右边的一个深度卷积和一个逐点卷积。

MobileNets中大部分的卷积计算都是1×1的卷积运算，1×1卷积几乎占据95%的计算量，占据75%的参数，其余的参数几乎都为全卷积层，如下图所示。

在这里插入图片描述

由于小型网络不容易过拟合，所以训练时使用少量的正则化和数据增强。

3.3. Width Multiplier: Thinner Models

虽然上面提到的MobileNets已经很轻量快速了，但是有时特定的使用需要网络更轻量快速，为了达到这一目的，新增一个宽度缩放系数α，其作用是让网络的每层都变薄，也即将通道变小。如，输入通道M变为αM，输出通道N变为αN。加了宽度缩放系数后深度可分离卷积的计算量为： $D_K×D_K×αM×D_F×D_F+αM×αN×D_F×D_F$ ，其中α属于(0,1]，通常设置为1, 0.75, 0.5和0.25。α=1时代表的是基本MobileNets，小于1时则为缩小的MobileNets。其缩放效果为 $α^2$ 。注意，使用α缩放模型后需要从头开始训练模型。

3.4. Resolution Multiplier: Reduced Representation

MobileNets的第二个超参数是分辨率缩放系数ρ ，作用于输入图像，也相当于作用于随后每层特征图上，一般通过设置输入图片的分辨率来隐式的设置。使用了宽度缩放系数α和分辨率缩放系数ρ之后模型的计算量如下： $D_K×D_K×αM×ρD_F×ρD_F+αM×αN×ρD_F×ρD_F$ ，ρ属于(0,1]，ρ的缩放效果为 $ρ^2$ 。