1.Lenet-5 ：最先出现的卷积神经网络，1998年，由于当时的硬件还不成熟，因此到了2012年出现了AlexNet
2.AlexNet：可以说是现在卷积神经网络的雏形
3.VGGNet：五个模块的卷积叠加，网络结构如下：
4.GoogleNet：inception v1,v2,v3, xception,基本思想就是对feature map用不同的卷积核filter进行卷积，然后concact，其中xception是对每个通道的feature map进行3×3的卷积，叫做通道分离卷积。
5.ResNet：分为building block，bottleneck都是叫做残差块，应为都有跳远连接，网络结构如下，主要也是五个大的模块：
6.DenseNet：主要思想是当前卷积层的输出feature map都要concact上一层的卷积输出，主要网络图如下：
7.一些好用的卷积操作：
1×1filter又叫通道卷积，可以实现bottleneck，改变通道数 。
3×3卷积，一般经典网络的卷积核大小，卷积前后图像大小保持不变，通道数翻倍，但一般会紧接着有池化操作，使得图像大小缩小为原来的1/2。
上采样：FCN网络中提到的上采样思想是先padding再卷积，或者先上池化再卷积。而FPN中的上采样是bilinear上采样。
通道concact：inception网络中的思想，让网络变胖
跳远连接：ResNet网络中的思想，让网络变长
随机分组卷积：对feature map的channel随机分组再进行卷积，ShuffleNet思想
通道加权卷积：SEnet的思想
空洞卷积：dilated conv，一个卷积点周围填0，让卷积变大，视野更广
网络多尺度的理解：不同的卷积核大小看到的图片的视野不一样
Label Smoothing Regularization（LSR）：是一种通过在输出y中添加噪声，实现对模型进行约束，降低模型过拟合（overfitting）程度的一种约束方法（regularization methed）。
ohem：ohem论文中提到的loss函数
focal loss：focal loss论文中提到的loss函数
softmax：
softmaxloss（cross entropy）：
sigmoid：
