原文标题：Domain Adaptive YOLO for One-Stage Cross-Domain Detection
中文标题：面向单阶段跨域检测的域自适应YOLO
1、Abstract
域转移是目标检测器在实际应用中推广的主要挑战。两级检测器的域自适应新兴技术有助于解决这个问题。然而，两级检测器由于其耗时较长，并不是工业应用的首选。本文提出了一种新颖的域自适应 YOLO（DA-YOLO）来提高单级检测器的跨域性能。图像级特征对齐用于严格匹配纹理等局部特征，并松散地匹配照明等全局特征。提出多尺度实例级特征对齐以有效减少实例域偏移，例如目标外观和视点的变化。对这些域分类器进行共识正则化以帮助网络生成域不变检测。我们在 Cityscapes、KITTI、SIM10K 等流行数据集上评估我们提出的方法。在不同的跨域场景下进行测试时，结果表明有显著的改进。
关键词：域转移、域适应、单阶段检测器、YOLO
2、Introduction
2.1、目标检测面临的挑战
目标检测旨在对给定图像中感兴趣的目标进行定位和分类。近年来，自深度卷积神经网络（CNN）出现以来，大量成功的目标检测模型一直被提出。然而，一个被称为“领域转移”的新挑战开始困扰计算机视觉社区。域漂移是指源域和目标域之间的分布不匹配导致性能下降。它是由图像的变化引起的，包括不同的天气条件，相机的视角，图像质量等。以自动驾驶为例，一个可靠的目标检测模型应该在任何情况下都能稳定地工作；然而训练数据通常是在视野清晰的晴天收集的，而实际上汽车可能会遇到恶劣的天气条件，包括雪和雾，导致能见度受到影响，此外相机的位置在测试环境中可能会有所不同，从而导致视点变化。
2.2、领域自适应的发展
理想情况下，在目标域上重新标记是解决域转移问题的最直接的方法。但这种手工注释会带来昂贵的时间和经济成本。出于对无需注释方法的期望，领域适应努力消除领域差异，而无需对目标领域进行监督。领域自适应（DA）首先被广泛应用于分类任务中，使用最大平均差异（MMD）等距离度量单位来衡量域偏移，并监督模型学习领域不变特征。后来，使用领域分类器和梯度反转层（GRL）的对抗训练策略被证明是一种更有效的学习鲁棒跨领域特征的方法。在训练阶段，领域分类器对源域和目标域数据的区分能力逐渐提高，骨干特征提取器学习生成更多的领域不可区分特征。最后，特征提取器能够生成域不变特征。
2.3、域自适应目标检测
1）用于目标检测的 DA 继承并扩展了相同的对抗训练思想。与分类 DA 类似，检测 DA 对骨干特征提取器采用对抗性训练。然而除了分类之外，目标检测器还需要对每个感兴趣的物体进行定位和分类。因此使用一个额外的域分类器对每个实例特征进行分类，以促使特征提取器在实例级别上是域不变的。这种对抗性检测自适应方法是由Chen等人（2018）首创的，他们使用Faster R-CNN作为基本检测器模型。随后的研究遵循了这一惯例，Faster R-CNN成为了主要的领域自适应检测器。此外，Faster R-CNN的两阶段特性使得它非常适合在实例级特征上应用域自适应。区域建议网络（RPN）和兴趣区域池（ROI）产生的统一实例级特征便于领域分类器直接使用。
2）尽管 Faster R-CNN 很受欢迎并且可以方便地利用区域提议网络(RPN)，但在时间性能至关重要的现实应用中，Faster R-CNN 并不是理想选择。与 Faster R-CNN 相比，YOLO (2016)是一种具有代表性的单阶段检测器，由于其惊人的实时性能、简单性和便携性而成为更有利的选择。YOLOv3 (2018)是YOLO的流行版本，广泛应用于工业领域，包括视频监控、人群检测和自动驾驶。然而，对单阶段检测器的域自适应研究仍然很少。
2.4、本文提出的方法
在本文中，我们介绍了一种新颖的域自适应 YOLO（DA-YOLO），它使用单级检测器 YOLOv3 执行域自适应。该模型的总体架构如下图1所示。首先，我们提出回归图像对齐（Regressive Image Alignment，RIA）来减少图像级别的域差异。RIA 在 YOLOv3 特征提取器的不同层使用三个域分类器来预测特征图的域标签。然后，它采用对抗性训练策略（adversarial training strategy）来对齐图像级别特征。通过为这些图像级域分类器分配不同的权重，RIA 严格对齐局部特征并宽松地对齐全局特征。其次，我们提出多尺度实例对齐（Multi-Scale Instance Alignment，MSIA）用于实例级域适应。由于没有两阶段检测器中的区域建议网络RPN，MSIA 利用了 YOLOv3 的三尺度检测。MSIA 使用三个域分类器进行这些检测，以对齐实例级特征。最后，我们将多级一致性正则化（Multi-Level Consensus Regularization，MLCR）应用于域分类器，以驱动网络产生域不变检测。
2.5、本文贡献
综上所述，我们在本文中的贡献有三个方面：
1)我们设计了两个新的领域自适应模块来解决领域移位问题。
2)我们提出了一种用于一级检测器的领域自适应范式。 据我们所知，这是第一个提出统一一级检测器的图像级和实例级自适应的工作。
3)利用Cityscapes、Foggy Cityscapes、KITTI、SIM10K数据集进行了广泛的领域自适应实验。结果表明，本文提出的自适应YOLO在不同的跨域场景下是有效的。
3、Related Works
3.1、Object Detection
随着深度神经网络的应用，目标检测方法蓬勃发展。它们大致可分为两类：两阶段法和单阶段法。R-CNN系列是两阶段检测器的代表，首先生成兴趣区域提案，然后对其进行分类。同时，YOLO作为单阶段检测器的代表，以其实时性成为应用广泛的一种检测器。YOLOv2 (2017) 和YOLOv3 (2018)是作为增量改进引入的，集成了残差块等有效技术。YOLOv4 (2020)是各种技巧的组合，可以实现最佳的速度和准确性。
3.2、Domain Adaptation
领域自适应旨在通过使用带注释的源域数据来提高模型在目标领域上的性能。首先通过匹配源域和目标域的边缘分布和条件分布，将其应用到分类任务中。以往工作包括TCA(2010)、JDA(2013)、JAN(2017)。随着生成式对抗网络GAN(2014) 的出现，对抗训练策略因其有效性而受到欢迎。事实证明，该策略在学习领域不变特征方面非常有帮助，并导致了一系列对抗性领域自适应的研究，包括DANN(2016)，DSN(2016)，SAN(2018)等等。
3.3、Domain Adaptation for Object detection
Domain Adaptive Faster R-CNN(2018)使用两阶段检测器Faster R-CNN探索了目标检测的对抗性域自适应。后续若干研究遵循了两阶段的范式，并做出了相当大的改进。尽管两级检测器便于域自适应，但在工业应用中很少使用。在实际应用中，单阶段探测器具有无可比拟的速度性能。因此，将单阶段检测器与领域自适应相结合具有重要的意义，但相关研究很少。这种情况促使我们开展本文提出的工作。
关于单阶段检测器的域自适应的研究有限。YOLO in the Dark Sasakawa and Nagahara (2020) 通过合并多个预先训练的模型来适应 YOLO。MS-DAYOLO (2021) 对 YOLO 模型采用多尺度图像级自适应。然而，它没有考虑实例级自适应，而实例级自适应被证明是同等甚至是更重要的。实例特征适应是一项更具挑战性的任务，因为在单阶段检测器中没有两阶段检测器中的区域建议网络RPN。在本文中，我们通过使用 YOLO 的检测来解决这个问题。
4、Conclusion
本文提出了一种有效的单阶段跨域自适应DA-YOLO算法。与以往的方法相比，我们在单阶段检测器上建立了域自适应模型。此外，我们还成功地为单阶段检测器引入了实例级自适应。在多个跨域数据集上的充分实验表明，我们的方法优于先前基于Faster R-CNN的方法，并且提出的三个域自适应模块都是有效的。