卷积神经网络 高级篇

• AlexNet：现代神经网络起源
  • 图片特征提取
  • 机器学习分类
  • Alexnet是由5组卷积层和三个全连接层组成，一共8个权重层(池化层不是权重层因为其没有参数),其中ReLU激活函数作用在每个卷积层和全连接层上，在第一个卷积层和第二个卷积层后面连接一个局部响应规范化层，最大池化层作用在第一个卷积层，第二个卷积层和第五个卷积层的输出上。
  • Alexnet中采用的是最大池化，是为了避免平均池化的模糊化效果，从而保留最显著的特征,并且AlexNet中提出让步长比池化核的尺寸小,这样池化层的输出之间会有重叠和覆盖，提升了特征的丰富性，减少了信息的丢失。
• VGG：AlexNet增强版
  • vgg的最主要的思想就是增加网络深度，减小卷积核尺寸（3*3）。减少卷积核的好处就是可以减少参数和计算量
  • VGG由5组卷积层、3层全连接层、softmax输出层构成，层与层之间使用max-pooling（最大化池）分开，所有隐层的激活单元都采用ReLU函数。
  • 结构简单
  • 性能优异
• 全卷积结构：
  • 没有全联接层
  • 特点
    • 输入图片无大小限制
    • 空间信息有丢失
    • 参数更少，表达力更强
• GoogleNet：多维度识别
  • GoogLeNet采用了模块化的结构（Inception结构），用了Inception之后整个网络结构的宽度和深度都可扩大，能够带来2-3倍的性能提升。
  • 虽然移除了全连接，但是网络中依然使用了Dropout
  • GoogLeNet采用了22层网络，为了避免梯度消失问题，GoogLeNet巧妙的在不同深度处增加了两个loss（softmax）来保证梯度回传消失的现象。
• ResNet：机器超越人类识别
  • ResNet的主要思想是在网络中增加了直连通道，即Highway Network的思想。此前的网络结构是性能输入做一个非线性变换，而Highway Network则允许保留之前网络层的一定比例的输出。ResNet的思想和Highway Network的思想也非常类似，允许原始输入信息直接传到后面的层中。
  • 为什么ResNet有效
    • 前向计算：低层卷积网络高层卷积网络信息融合，层数越深，模型的表现力越强
    • 反向计算：导数传递更直接，越过模型，直达各层
• DeepFace：结构化图片的特殊处理
  • 不同局部，不同参数
  • 全局部卷积连接
    • 预处理：大量对准，对对准要求高
    • 参数数量很大，模型收敛难度大
    • 模型可扩展性差，基本限于人脸计算
• U-Net：图片生成网络
  • 逆卷积（带参数的上采样）