CNN学习笔记：卷积神经网络
卷积神经网络
在图像处理中，往往把图像表示为像素的向量，比如一个1000*1000大小的图像，可以表示为一个1000000的向量。如果隐藏层数目和输入层一样的话，那么输入层到隐藏层的参数数据为10的12次方，数据量太大，几乎无法训练。所以图像处理第一步首先必须减少参数。
感受野
降低参数数目的第一种方法叫做局部感知野。一般认为人对外界的认识是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因为，每个神经元其实并没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息总和起来就得到了全局信息。
如下图的3*3步长为1卷积操作为例，相邻两层中后层神经元在前层的感受野仅为3×3，但随着卷积操作的叠加，第L+3层的神经元在第L层的感受野可扩增至7×7。
也就是说，小卷积核通过多层叠加可取得与大卷积核同等规模的感受野，此外还有两个优势：
1、由于小卷积核需要多层叠加，加深了网络深度进而增强了网络容量。
2、增加了网络容量的同时减少了参数的个数。