1、softmax回归，准求率 test: 0.31, train: 0.33 欠拟合。
2、三层神经网络，准确率 test: 0.39, train: 0.44 参数这么多还欠拟合，所以网络结构很重要。
3、卷积神经网络，第一层[5*5*32] stride=1 max_pool [2*2] stride=2; 第二层[3*3*64]....
然后，接一层全链接，再接softmax回归。 准确率 test：0.58，train：0.80
轻微欠拟合，又有过拟合。
4、在3的基础上，把第一层卷积改成2个[3*3]串联。准确率 test：0.64，train: 0.87
借鉴了vgg，卷积层增加，参数变少，模型泛化能力更强了。
5、在3的基础上，把全连接层改成卷积层接全局平均池化层。 准确率 test：0.41，train：0.45 欠拟合
6、在5的基础上，把第二层卷积[3*3]改成[3*1]和[1*3]串联。准确率 test：0.44，train: 0.52 欠拟合
借鉴了inception v3，卷积层怎加，参数变少，训练速度变快很多，模型变强。
7、在6的基础上，把第一层卷积核改成[3*3]。准确率 test：0.43，train: 0.50 欠拟合
第一层卷积核变小，模型稍微变弱一点。
8、在5的基础上，把第一层卷积核[5*5]改成[5*1]和[1*5]并联。准确率 test：0.50，train：0.58
模型变强。
9、在8的基础上，把第一层卷积核改成[7*1]和[1*7]并联。准确率 test: 0.51，train: 0.59
模型变强不明显。
10、在8的基础上，把第一层卷积核改成[9*1]和[1*9]并联。准确率 test: 0.49, train: 0.58
模型变弱。
11、在8的基础上，把第一层卷积核输出通道加倍到64。准确率 test: 0.53，train: 0.61
模型变强。
12、在8的基础上，在第二层用[1*1]卷积核先降维，再在后面升维。准确率 test：0.47 train：0.51
效果一般。
13、在8的基础上，把第二层卷积核输出通道在第一个[3*1]时就加倍。准确率 test: 0.54 train: 0.63
效果跟11一样，训练速度却只有11的1/3。
14、在13的基础上，后面接一个softmax回归。准确率 test: 0.56 train: 0.69
效果稍微变好。
15、在14的基础上，第三层卷积改成[3*1]和[1*3]串联。 准确率 test: 0.49 train: 0.52
模型变弱。