摘要
https://arxiv.org/pdf/2007.07247.pdf
结合多个摄像机视图进行检测可以减轻拥挤场景中遮挡的影响。在多视点检测系统中，我们需要回答两个重要问题。首先，我们应该如何聚合来自多个视角的线索?第二，我们应该如何从空间上相邻的位置聚合信息?为了解决这些问题，我们引入了一种新型的多视点检测器MVDet。在多视图聚合期间，对于地面上的每个位置，现有方法使用多视图锚盒特征作为表示，这可能会限制性能，因为预定义的锚盒可能不准确。相比之下，通过特征映射透视变换，MVDet采用无锚点表示，直接从多个视图的相应像素中采样特征向量。对于空间聚合，不同于以往需要在神经网络之外进行设计和操作的方法，MVDet采用全卷积方法，在多视图聚合特征图上使用大卷积核。该模型是端到端可学习的，在Wildtrack数据集上达到了88.2%的MODA，比最先进的模型高出14.1%。我们还在新引入的合成数据集MultiviewX上提供了MVDet的详细分析，该数据集允许我们控制遮挡的水平。代码和MultiviewX数据集可从https://github.com/hou-yz/MVDet获得。
关键词:多视点检测，无锚点，视角变换，全卷积，合成数据
1、简介
遮挡是许多计算机视觉任务面临的一个基本问题。具体来说，在检测问题中，遮挡带来了很大的困难，已经提出了许多方法来解决它。一些方法专注于单视图检测问题，例如基于部件的检测[35,25,48]，损失设计[46,39]和学习非最大抑制[13]。其他方法从多个线索联合推断物体，如RGB- d[10,12,27]、LIDAR点云[6]和多个RGB相机视图[8,3]。在本文中，我们专注于从多个RGB相