卷积神经网络
全连接 NN：每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测的结果。
参数个数：
一张分辨率仅仅是28x28的黑白图像，就有近40万个待优化的参数。现实生活中高分辨率的彩色图像，像素点更多，且为红绿蓝三通道信息。待优化的参数过多，容易导致模型过拟合。为避免这种现象，实际应用中一般不会将原始图片直接喂入全连接网络。在实际应用中，会先对原始图像进行特征提取，把提取到的特征喂给全连接网络，再让全连接网络计算出分类评估值。
例：先将此图进行多次特征提取，再把提取后的计算机可读特征喂给全连接网络。
卷积Convolutional
卷积是一种有效提取图片特征的方法。一般用一个正方形卷积核，遍历图片上的每一个像素点。图片与卷积核重合区域内相对应的每一个像素值乘卷积核内相对应点的权重，然后求和，再加上偏置后，最后得到输出图片中的一个像素点。
例：上面是 5x5x1 的灰度图片，1 表示单通道，5x5 表示分辨率，共有 5 行 5 列个灰度值。若用一个 3x3x1 的卷积核对此 5x5x1 的灰度图片进行卷积，偏置项 b=1，则求卷积的计算是：
(-1)x1+0x0+1x2+(-1)x5+0x4+1x2+(-1)x3+0x4+1x5+1=1（注意不要忘记加偏置 1）
输出图片边长=（输入图片边长–卷积核长+1）/步长，此图为：（5 – 3 + 1）/ 1= 3，输出图片是 3x3 的分辨率，用了 1 个卷积核，输出深度是 1，最后输出的是3x3x1 的图片。
_____________________________________________________先到这吧，太难了，把前面的知识在消化一下再继续补坑。