CS231N–卷积神经网络
一、卷积神经网络历史-略过
- 具体参照Lecture5已经总结
- CNN适用于分类、恢复、探测、分割，随着GPU的兴起和互联网数据的增大，CNN现在是无处不在。以风格迁移为例。
二、卷积神经网络层
- 典型的神经网络构成：卷积层+池化层+全连接层
1. 卷积层
- 三维卷积与一维、二维的卷积意义是一样的，都是滤波器的作用，传统的都是需要人为设置各种特征提取的滤波器，而CNN的滤波器是可以训练出不同功能的，全面而又强大；
这个地方关于滤波的内容吴恩达的深度学习课程中讲解的更为透彻。
经过两层卷积层后的数据结构变化，维度从32*32–28*28–24*24，宽和高是在缩小，深维度由每层滤波器个数决定。
卷积神经网络不同层提取的特征不一样，越靠前的网络提取的特征越简单，越往后越复杂，可以通过可视化的展现来观察不同层的功能。
- 经过卷积层后，数据维度变化规律，必须满足输出是整数才能运行，除不尽的情况不合理。
- 实际上如果我们的层数比较多，100层，经过这样的维度下降后，宽和高无法维系，因此需要使用zero padding来保持维度不变。
实际上对于卷积层，参数包括；滤波器数量K、滤波器大小F、步长S和填充padding；实际上可以用偶数滤波器，但不常见，因为偶数没有中间，通常3是最常见的最小滤波器大小。
1维滤波器经常有特殊用法，用于对不同深度进行成比例混合压缩，重建新的深度维度，而维持长宽不变。
~python隐藏内容
~
2. 卷积层与人脑的解释
3. 池化层
扫描二维码关注公众号，回复：
1810326 查看本文章
- 在卷积层尽量保持维度的不变行，但是滤波器数量大的时候，需要经过池化层对数据维度进行降低，与卷积层相同，通常关注池化滤波器大小K以及步长S。
- 池化包括最大层池化、均值池化等。
4. 全连接层
- 全连接层与之前的神经网络层相同就是用来最后进行分类的层。
三、神经网络Cases
- 图片识别错误率下降过程
1. LeNet-5–1998
2. AlexNet–2012
3. ZFNet–2013
4. VGGNet–2014
5. GoogLeNet–2014
6. ResNet–2015
7. 计算、时间复杂度、能量复杂度
8. 其他结构–雨后春笋般冒出来
- Network in Network (NiN)–2014
- Identity Mappings in Deep Residual Networks–2016
- Wide Residual Networks–2016
- Aggregated Residual Transformations for Deep Neural Networks (ResNeXt)–2016
- Deep Networks with Stochastic Depth–2016
- FractalNet: Ultra-Deep Neural Networks without Residuals–2017
- Densely Connected Convolutional Networks–2017
- SqueezeNet: AlexNet-level Accuracy With 50x Fewer Parameters and <0.5Mb Model Size–2017