本文记录下刚看的害虫识别论文《High performing ensemble of convolutional neural networks for insect pest image detection》。
文章梗概
这篇文章主要是优化方法的创新，其实是有新意的。像这篇文章摘要部分说的一样， 文章主要贡献在于提出了两种基于Adam优化器的变种：EXP和EXPLR。然后作者使用五种流行的CNN模型：ResNet50, GoogleNet, ShuffleNet, MobileNetv2和DenseNet201，进行了实验，最终采用简单的集成策略，得到了较好的实验结果。文章中提出的两种优化算法主要的优点在于使模型收敛的比较快，且能够达到相对较优的性能。文章比较好的部分是，不仅在害虫数据集进行了实验，在医学图像数据集也进行了验证提出的优化器有效，这一点其实是本文的加分项，进一步验证了提出方法的有效性。
文章提出的两种优化器
文章在提出新优化器之前，主要分析了Adam及相关的变体优化器，最终才提出了新的优化器，这样的逻辑其实非常不错。
1 EXP
这里主要是基于DGrad，将原方法中的固定参数设置为了一个可变参数K，然后通过公式组合，最终得到EXP优化器，文中举了个EXP优化器学习率变化的例子，不好的点使，文中图的横纵坐标没有给出，这个其实不太知道作者怎么画出的示例图。但大致从图中可以看出，K越大，则学习率变化越陡峭。但在文中后续的实验中，作者似乎直接将K=10，没有对其进行寻优操作，这个其实有些不完善。
2 EXPLR
这个优化器相较于上面的EXP，其多乘了一个Sigmoid函数，相当于将学习率进一步进行了平滑处理。
文章实验配置及结果
文中各模型只进行20轮次的迭代，就能得到表格中的结果，进一步说明了提出优化器有效。
