CNN模型 | 1 LeNet

前言最近几天闲得慌，然后突发奇想，决定整理最常用卷积神经网络，废话不多说，进入正题。

LeNet网络

LeNet的设计思想

LeNet是在1998年由LeCun提出，3层神经网络，具备卷积层、Pooling层、FC网络、Sigmod层等，是现在各大变种卷积神经网络的基础，对标传统神经网络。
主要设计贡献：

• 局部感受野(local receptive fields)，局部连接
• 权值共享（参数共享）
• 下采样(sub-sampling)，pooling层

LeNet网络的核心结构

传统网络的全连接FC

• 通过全连接将上下层的神经网络神经元进行互连，上一层的所有神经元节点x会和下一层的每一个节点y进行互连，全连接实现线性变换y = w*x-all +b
• 神经元之间连接比较稠密，参数过多，网络过于臃肿
• 全连接层对于特征的偏差比较敏感，这样会使得模型加深过拟合
• 全连接层的坏处就在于其会破坏图像的空间结构
• 全连接相当于1*1的卷积核
• 对平移、形变不具有不变性，对局部信息不敏感，完全忽略了图像的局部结构，因为考虑到了所有点。

keras实现LeNet网络

import numpy as np
import keras
from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Activation, Conv2D, MaxPooling2D, Flatten
from keras.optimizers import Adam

model = Sequential()
model.add(Conv2D(input_shape=(32, 32, 1), kernel_size=(5, 5), filters=20, activation='sigmod'))
model.add(MaxPooling2D(pool_size=(2,2), strides=2, padding='same'))

model.add(Conv2D(kernel_size=(5, 5), filters=50,  activation='sigmod', padding='same'))
model.add(MaxPooling2D(pool_size=(2,2), strides=2, padding='same'))

model.add(Flatten())
model.add(Dense(500, activation='sigmod'))
model.add(Dense(10, activation='softmax'))
model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy'])

PyTorch实现LeNet网络

import torch.nn as nn

# torch.nn.Conv2d(in_channels, out_channels, kernel_size,
# stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')
model = nn.Sequential(
    nn.Conv2d(in_channels= 1,out_channels = 6,kernel_size=5,stride=1,padding=2),
    nn.Sigmoid(),
    nn.MaxPool2d(kernel_size=2,stride=2,padding='same'),

    nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5,padding='same'),
    nn.Sigmoid(),
    nn.MaxPool2d(kernel_size=2,stride=2,padding='same'),

    nn.Linear(16*5*5,120),
    nn.Sigmoid(),
    nn.Linear(120,84),
    nn.Sigmoid(),
    nn.Linear(84,10)
                )
print(model)