版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
深度学习之CNN入门&LeNet框架
1.卷积神经网络：
主要操作：Convolution（提取特征）——>ReLU——> Pooling（亚采样）——> Fully connected layers（分类）
①Convolution（卷积）：从输入的一小块数据中学到图像的特征，并可以保留像素间的空间关系。
feature map：在图像上滑动滤波器并计算点乘得到的矩阵（粉色矩阵） ，修改滤波矩阵，可进行边缘检测、锐化和模糊等操作；滤波器越多，提取到的图像特征就越多，网络所能在未知图像上识别的模式也就越好。
Three Parameters of Characteristic Grap：
- Depth：卷积操作所需的滤波器个数
- Stride：在输入矩阵上滑动滤波矩阵的像素数
- Zero-padding：在输入矩阵的边缘使用零值填充，对输入图像矩阵的边缘滤波。
②ReLU：ReLU 的目的是在 ConvNet 中引入非线性
原因：
- 不用激励函数，每一层输出都是上层输入的线性函数，与没有隐藏层效果相当，即最原始的感知机。（引入可以逼近任意函数）
- 采用sigmoid等函数计算量大，且容易出现梯度饱和的情况，反向传播易出现梯度信息消失。
- ReLU使一部分神经元的输出为0，减少参数相互依存关系，缓解过拟合。
③Pooling：平均化，加和，最大化（效果更好）：分开应用到各个特征图
作用：
- 使输入表示（特征维度）变得更小，网络中的参数和计算的数量更加可控的减小，可控制过拟合。
- 使网络对于输入图像中更小的变化、冗余和变换变得不变性
④Fully connected layers： 使用这些特征把输入图像基于训练数据集进行分类。
2. LeNet：
神经网络的起点，利用卷积、参数共享、池化等提取特征，避免了大量的计算成本，并使用全连接进行分类。证明手工特征提取可以被精心设计的直接操作像素图像的学习机所取代。LeNet网络结构示意图：
LeNet由7层CNN组成：3个卷积（C），2池化，1全连接和输出层。其操作过程基本和上文介绍的一致（未使用ReLU）
以C1层为例：6个5×5的卷积核
特征图大小计算公式（Stride为1，无填充）：Cr×Cc=（Ir-Kr+1）×（Ic-Kc+1）
参数个数：（5×5+1）×6 = 156
连接数：卷积后每个特征图28×28个神经元，连接数：（5×5+1）×6×28×28
S2层Pooling：池化单元2×2，相当于图像大小减半。
FC layers：84个特征图，对应于7*12的比特图
Ootput层：采用RBF（径向基函数）的网络连接，RBF输出的值越接近于0，表示识别结果与字符i越接近。