本文已参与「新人创作礼」活动，一起开启掘金创作之路。
8. 卷积神经网络的一个完整例子
一个完整的卷积神经网络模型：
图8.1 一个完整卷积神经网络例子 在设计卷积神经网络中的许多工作是选择合适的超参数，例如总单元数多少？步长多少？padding多少？使用了多少滤波器等。 Types of layer in a convolutional network: - Convolution (CONV) - Pooling (POOL ) - Fully connected (FC)
9. Pooling layer（池化层）
Max pooling 没有参数，因此不需要通过反向传播来学习参数
多通道图片时，对每个通道分别进行max pooling
pooling层的作用：平移不变性，减少图片尺寸pooling层的作用-知乎
The pooling (POOL) layer reduces the height and width of the input. It helps reduce computation, as well as helps make feature detectors more invariant to its position in the input. max pooling比较常用，average pooling不常用
hyperparameters:
- f: filter size (f=2,s=2,used quite often)
- s: stride
- Max or average pooling
10. 卷积神经网络经典模型
10.1 Outline
经典的网络结构：
- LeNet-5
- AlexNet
- VGG
- ResNet
- Inception
10.1 LeNet-5
在计算层数时通常把有参数的算作一层，因为pooling层没有参数，因此conv层和pooling层放在一起当作一层. LetNet-5结构图：
图10.1 LeNet-5模型结构图 LetNet-5参数表
图10.2 LetNet-5参数说明 - 用的是sigmoid/tanh激活函数 - 由于那时的计算机性能比较差，采用了比较复杂的训练技巧 注意： - 最大池化没有任何参数 - 卷积层趋向于拥有越来越少的参数，多数参数集中在神经网络的全连接层上 - 随着神经网络的深入，激活输入大小也逐渐变小。如果减少得太快，通常不利于网络性能 ### 10.2 AlexNet
图10.3 AlexNet模型结构图 - 与LSNet-5架构相似，但是规模大许多，约60M个参数 - 用了ReLU激活函数 - 由于计算机性能仍然不是很好，采用复杂的训练技巧（将不同的层放在两个GPU上分别训练） - 用了Local Response Normalization，但是后面被发现不太有效 ### 10.3 VGG-16
图10.4 VGG-16模型结构图 138M个参数 16是指有16层含有参数的层。 前面两层都是64个$3\times 3$的卷积核进行卷积操作。