CNN笔记（一）：通俗理解卷积神经网络

在深度学习中，有一个很重要的概念，就是卷积神经网络（CNN），是入门深度学习需要搞懂的东西。

1 卷积网络

也叫卷积神经网络（convolutional neural network,CNN）,是一种专门用来处理具有类似网格结构的数据的神经网络。“卷积网络”是指那些至少在网络的一层中使用卷积运算来代替一般的矩阵乘法运算的神经网络。

2 人工神经网络

2.1 神经元

神经网络由大量的节点（或称“神经元”、“单元”）和相互连接而成。每个神经元接受输入的线性组合，进行非线性变换（亦称激活函数activation function）后输出。每两个节点之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。

举个手写识别的例子，给定一个未知数字，让神经网络识别是什么数字。此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义。在通过激活函数进行非线性变换后，神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。从而识别当前数字是什么字。

神经网络的每个神经元/单元如下

类似z = wx + b的形式，其中

a1~an为输入向量，当然，也常用x1~xn表示输入
w1~wn为权重
b为偏置bias
g(z)为激活函数
t 为输出

如果只是上面这样一说，估计以前没接触过的十有八九又必定迷糊了。事实上，在20世纪50/60年代，上述简单神经元被称之为感知机，可以把感知机理解为一个根据不同因素、以及各个因素的重要性程度而做决策的模型。

举个例子，这周末北京有一草莓音乐节，那去不去呢？决定你是否去有3个因素，这三个因素可以对应三个输入，分别用x1、x2、x3表示，此外，这三个因素对做决策的影响程度不一样，各自的影响程度用权重w1、w2、w3表示。一般来说，音乐节的演唱嘉宾会非常影响你去不去，唱得好的前提下即便天气不好、没人陪同都可忍受，但如果唱得不好还不如你上台唱呢。所以，我们可以如下表示：

x1：是否有喜欢的演唱嘉宾。x1 = 1 你喜欢这些嘉宾，x1 = 0 你不喜欢这些嘉宾。嘉宾因素的权重w1 = 5
x2：天气好坏。x2 = 1 天气好，x2 = 0 天气不好。天气权重w2 = 2。
x3：是否有人陪你同去。x3 = 1 有人陪你同去，x2 = 0 没人陪你同去。是否有陪同的权重w3 = 3。

这样，咱们的决策模型函数便建立起来了：g(z) = g( w1*x1 + w2*x2 + w3*x3 + b )，g表示激活函数。不同的输入会得到不一样的决策结果。这里b表示为达到更好的目标而做调整的偏置项。
一开始为了简单，把激活函数定义成一个线性函数，即对于结果做一个线性变化。比如一个简单的线性激活函数是f(sum) = sum，输出都是输入的线性变换。后来实际应用中发现，线性激活函数太过局限，很多数据不是线性可分的，于是引入了非线性激活函数。

2.2 激活函数

常用的非线性激活函数有sigmoid、tanh、relu等等，前两者sigmoid/tanh比较常见于全链接层，后者relu常见于卷积层。这里先简要介绍下最基础的sigmoid函数（btw，在本博客中SVM那篇文章开头有提过）。

sigmoid的函数表达式如下

其中z是一个线性组合，比如z可以等于：w0 + w1*x1 + w2*x2。通过代入很大的正数或很小的负数到函数中可知，g(z)结果趋近于0或1。

因此，sigmoid函数的图形表示如下（横轴表示定义域z，纵轴表示值域g(z)）：

也就是说，sigmoid函数的功能是相当于把一个实数压缩至0到1之间。输入非常大的正数时，输出结果会接近1，而输入非常大的负数时，则会得到接近0的结果。压缩至0到1有何用处呢？用处是这样一来变可以把激活函数看作一种“分类的概率”，比如激活函数的输出为0.9的话，便可以解释为90%的概率为正样本。

如下图：

z = w1*x1 + w2*x2 +b.

其中b为偏置项，假定取：-30，w1 , w2 都取为20.

如果 x1 = 0，x2 = 0，则z = -30，g(z) =1/( 1 + e^-z ) 趋近于0。此外，从上图sigmoid函数的图形上也可以看出，当z = -30的时候，g(z)的值趋近于0。

如果 x1 = 0，x2 = 1，或者 x1 = 1，x2 = 0 则z = -10，同样，g(z)的值趋近于0。

如果 x1 = 1，x2 = 1，则z = 10，此时，g(z)趋近于1。

即是只有 x1 和 x2 都取1的时候，g(z)→1，判定为正样本；x1或者x2取0的时候，g(z)→0，判定为负样本，如此达到分类的目的。

2.3 神经网络

将下图的这种单个神经元

组织在一起，便形成了神经网络。下图便是一个三层神经网络结构

上图中最左边的原始输入信息称之为输入层，最右边的神经元称之为输出层（上图中输出层只有一个神经元），中间的叫隐藏层。

啥叫输入层、输出层、隐藏层呢？

输入层（Input layer），众多神经元（Neuron）接受大量非线形输入讯息。输入的讯息称为输入向量。
输出层（Output layer），讯息在神经元链接中传输、分析、权衡，形成输出结果。输出的讯息称为输出向量。
隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。如果有多个隐藏层，则意味着多个激活函数。

同时，每一层都可能由单个或多个神经元组成，每一层的输出将会作为下一层的输入数据。比如下图中间隐藏层来说，隐藏层的3个神经元a1、a2、a3皆各自接受来自多个不同权重的输入，接着，a1、a2、a3又在自身各自不同权重的影响下成为的输出层的输入，最终由输出层输出最终结果。

上图（注：图引自斯坦福机器学习公开课）中

表示第j层第i个单元的激活函数
表示从第j层映射到第j+1层的控制函数的权重矩阵

此外，输入层和隐藏层都存在一个偏置（bias unit)，所以上图中也增加了偏置项：x0、a0。针对上图，有如下公式

此外，上文中讲的都是一层隐藏层，但实际中也有多层隐藏层的，即输入层和输出层中间夹着数层隐藏层，层和层之间是全连接的结构，同一层的神经元之间没有连接。

3 卷积神经网络之层级结构

卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层）。

cs231n课程里给出了卷积神经网络各个层级结构，如下图

上图中CNN要做的事情是：给定一张图片，是车还是马未知，是什么车也未知，现在需要模型判断这张图片里具体是一个什么东西，总之输出一个结果：如果是车那是什么车

所以

最左边是数据输入层，对数据做一些处理，比如去均值（把输入数据各个维度都中心化为0，避免数据过多偏差，影响训练效果）、归一化（把所有的数据都归一到同样的范围）、PCA/白化等等。CNN只对训练集做“去均值”这一步。

中间是

CONV：卷积计算层，线性乘积求和。
RELU：激励层，上文2.2节中有提到：ReLU是激活函数的一种。
POOL：池化层，简言之，即取区域平均或最大。

最右边是

FC：全连接层

这几个部分中，卷积计算层是CNN的核心，下文将重点阐述。

4 CNN之卷积计算层

4.1 什么是卷积

首先，我们来了解下什么是卷积操作。

对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。

非严格意义上来讲，下图中红框框起来的部分便可以理解为一个滤波器，即带着一组固定权重的神经元。多个滤波器叠加便成了卷积层。

如果输入图像是32*32*3，filter是5*5*3，如何得到28*28*1的特征图呢？先初步介绍一下：

卷积的计算过程是：filter在图像上从左到右、从上到下滑动（上图的滑动步长为1，即是一个像素）做內积。这里先解释32*32*3如何变成28*28*1的。

（1）32 --- >28的问题：

图像长是32，filter长是5，从左滑动到右（这里没有在图像加0的情况，这个情况下面会说），每滑动一次，计算一个结果，所以最后得到的图像长是：32 - 5 + 1 = 28。从上滑动到下，同理。

（2）3 ----> 1 的问题：

这个问题简单，跟卷积的计算有关，规定：图像深度是多少，filter的深度就是多少。卷积的计算是：图像的各层次与filter的各层次分别计算后得到的结果再相加，最终才得到特征图上的值。可以知道，不管图像的深度是多少，如果只有一个filter，卷积计算得到的特征图，深度都是1。所以，特征图的深度，与原图像的深度无关，只与filter的个数有关。

接下来，看复杂一点点，通常会使用多层卷积层来得到更深层次的特征图。如下：