卷积神经网络 Convolutional Neural Networks
卷积神经网络其实早在80年代，就被神经网络泰斗Lecun 提出[LeNet-5, LeCun 1980]，但是由于当时的数据量、计算力等问题，没有得到广泛使用。
卷积神经网络的灵感来自50年代的诺贝尔生物学奖。Hubel & Wiesel, 1959，猫负责视觉的大脑区域，对于细小的线段感兴趣（而不是鱼），这个区域离眼睛远（而不是近）。
1.卷积层 Convolutional Layer
卷积层中有filter，在image空间中不断滑动，进行点乘dot
filter 的dot的结果是一个数值，经过滑动dot，就会形成一个比原先照片小的层，厚度为1
filter可以有很多个，我们以6个filter为例
2.卷积过程 Convolutional Process
卷积的过程，就是一系列的卷积层的组合：
每一层提取的feature 从low lever ，mid level，high level 到可以分类的级别
这里是一个图片分类的过程：
3.卷积计算 Convolutional Compute
（1）activation map 大小的计算 以7*7大小的图片为例
（2）zero padding
zero padding 可以保持图片卷积后的大小
（3）计算
举例：输入图片是32x32x3 有10个5x5的filter ，stride 是1 ，pad 2
输出的大小？ 参数的多少？
Output volume size: (32+2*2-5)/1+1 = 32 spatially, so 32x32x10
Number of parameters in this layer? each filter has 553 + 1 = 76 params => 76*10 = 760
（4）总结
本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229，斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里，感谢这些经典课程，向他们致敬！