Abstract：
神经网络的宽度很重要，因为增加宽度必然会增加模型的容量。但是，网络的性能不会随着宽度的增加而线性提高，并且很快就会饱和。为了解决这个问题，我们建议增加网络的数量，而不是单纯地扩大宽度。为了证明这一点，将一个大型网络划分为几个小型网络，每个小型网络都具有原始参数的一小部分。然后，我们将这些小型网络一起训练，并使它们看到相同数据的各种视图，以学习不同的补充知识。在此共同训练过程中，网络也可以互相学习。结果，小型网络在少量或没有额外参数FLOPs的情况下，与大型网络相比可以获得更好的集成性能。这表明，除了深度/宽度/分辨率之外，网络的数量是有效模型缩放的新维度。通过在不同设备上并发运行，小型网络也可以比大型网络实现更快的推理速度。我们通过广泛的实验验证了这一想法-增加网络数量是有效模型缩放的新维度-在通用基准上使用不同的网络架构。
