版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/kevin_zhao_zl/article/details/84527400
论文地址： Rethinking ImageNet Pre-trainging
1. 简述
论文更像是一个实验报告，通过在二阶段的Mask RCNN上设计多个实验，得到了关于ImageNet Pre-Training的一些结论。
- Is ImageNet pre-training necessary? No
- Is ImageNet helpful? Yes
- Shall we pursuit universal representations? Yes.
2. 从0训练检测器
学习ScratchDet作者的观点：
- 需要能够稳定梯度的优化手段(BN,GN,SN)
- 需要足够多的epochs和合适的学习率
- 小数据集上需要增广(有的模型上貌似增广是没什么用的)
BN在优化过程中如何起作用，论文How Does Batch Normalization Help Optimization? 提到：
- 使得梯度更加稳定，更加可预测
- 可采用更大步长并使用更大学习率来加速训练
- 阻止loss函数解空间突变：避免梯度消失陷入平坦区域；避免梯度爆炸得到局部最优解
3.结论
- (1) 数量足够，迭代足够的时候，pre-training会加速收敛但是对performance影响不大
- (2) fine-tune并不能减少过拟合
4.实验设计
- Training from scratch to match accuracy [两组实验室采用不同的正则化方法，对比随机初始化和pre-training的结果得到结论(1)]
- Training from scratch with less data [分别用30k，10k，1k的数据进行实验得到结论(2)]