读论文-基于循环gan特征增强的夜间车辆检测 Feature Enhancement Based on CycleGAN forNighttime Vehicle Detection

摘要

现有的夜间车辆检测方法主要是通过检测前灯或尾灯来检测车辆。然而，复杂的道路照明环境对这些特性产生了不利的影响。本文提出了一种具有特征转换增强(feature translate enhancement, FTE)模块和目标检测(OD)模块的级联检测网络框架FteGanOd。首先，基于CycleGAN构建FTE模块，提出多尺度特征融合，增强夜间车辆特征检测;通过融合不同的卷积层，将黑夜和白天的特征结合起来，生成增强特征(EF)图。其次，在现有目标检测网络的基础上，改进OD模块，与FTE模块级联，检测EF地图上的车辆。本文提出的FteGanOd方法通过提高车辆与背景的对比度和抑制环境光的干扰，提高了夜间车辆识别的准确性。在Berkeley Deep Drive (BDD)数据集和我们的私有数据集上验证了提出的FteGanOd。实验结果表明，该方法能有效增强车辆特征，提高夜间车辆检测的准确性。

一、介绍

车辆检测是目标检测领域的一个重要应用。更精确的昼夜车辆检测系统将促进未来更可靠的自动驾驶系统(ADS)和驾驶辅助系统(DAS)的发展。在夜间(弱光)条件下，由于车辆视觉信息较少，且光照环境复杂，增加了交通事故发生的概率。(a)车辆的视觉信息减少。夜间车辆与背景的对比度降低，车辆的特征不太明显。(b)照明环境复杂。由于车辆前灯和尾灯与其他各种灯光的干扰相混淆，导致车辆误检率高，对基于视觉的夜间车辆检测提出了严峻的挑战。

现有的车辆检测方法大多采用前灯和尾灯作为主要的夜间车辆检测特征。传统的检测方法不是基于卷积神经网络(cnn)，而是利用前灯和尾灯来定位车辆[4]、[11]。通过分割图像对尾灯进行定位，假设车辆的典型宽度[4]、[5]，预测车辆边界框。首先对车辆尾灯进行配对得到区域建议，然后确定是否在这些区域建议中的车辆为[6]，[7]。在[10]中，提出了一种跟踪检测方法，通过跟踪前灯/尾灯来检测多辆车辆。这些传统的非cnn车辆检测方法有两个缺点。(1)由于城市中车灯、路灯、建筑灯光以及车辆反射灯光等复杂的照明条件，车辆检测容易出现错误，增加了误报率。(2)遮挡车辆或仅拍摄车辆侧面时，有时会遮挡车灯，增加漏检率。

基于CNN的车辆检测算法逐渐变成了今年来研究的焦点，一些基于CNN的夜间车辆检测方法已经被调研了。Lin等[23]提出AugGAN将白天图像转换为夜间图像进行数据增强，然后将图像用于训练现有的检测系统，提高探测器的性能。然而，现有的夜间车辆检测方法仅增加了数据处理系统。Kuang等人[1]在2017年使用生物灵感增强方法对夜间图像进行特征融合和目标分类增强。2019年，他们结合传统特征和CNN特征生成感兴趣区域(ROI)[2]，[3]。上述方法结合了传统的机器学习方法和用于目标检测的深度学习方法，属于多阶段学习框架。然而，它们并不是一个端到端的学习框架，这使得培训过程很繁琐。

基于深度学习的目标检测方法(Fast RCNN [29]， SSD[33]等)也可以用于夜间车辆检测。然而，这些方法是针对白天的目标检测而设计的，它们在夜间条件下使用导致从网络结构中提取特征的精度水平较低，车辆检测性能的比率较低。

总之，弱光环境、复杂的照明和夜间检测网络的专业化结构是夜间车辆检测面临的三大挑战。低光环境增加了错过车辆的比率，因为车辆的模糊特征;在处理较复杂的交通场景时，复杂的照明会导致较高的误检率;而专门的夜间探测网络仍然不完善。然而，生成对抗网络(GAN)是一种风格的传输网络，可以将夜间图像转换为白天图像。GAN利用编码模块提取夜间图像的特征，利用解码模块恢复白天图像。

因此，我们提出了一种新颖的夜间车辆检测框架FteGanOd(特征平移增强生成对抗网络目标检测)来克服上述挑战。FteGanOd包括特征平移增强(FTE)模块和对象检测(OD)模块，如图1所示。(1) FTE首先利用CycleGAN将图像从夜间转换为白天。接下来使用来自CycleGAN的多尺度特征来融合编码(夜间)特征和解码(白天)特征，形成增强特征(EF)地图。编码特征包含了夜间车辆前灯和尾灯的重要信息;解码特征包含白天特征，用于增强背景亮度，同时抑制大部分光源。(2) OD模块(改进型YOLO、RCNN或SSD)提取车辆抽象特征，检测EF地图上的车辆。

本文剩余内容如下:第二部分介绍了夜间车辆检测方法、基于CNN的检测网络和基于GAN的检测网络。第三部分详细介绍了我们的夜探测网络FteGanOd。第四部分介绍了实验过程并对实验结果进行了讨论。最后，第五节提出结论和未来工作的可能性。

图1所示。FteGanOd夜间车辆检测与行为分析。

二、相关工作

A.夜间车辆探测

几乎所有的夜间车辆检测算法都将前灯/尾灯作为车辆定位的关键信息。在夜间图像中寻找红色或高光是以往方法获得区域建议的主要技术，并已被大多数文献证明是有效的。

车辆roi(region of interest) 的获取可以采用以下技术:基于阈值的分割方法[5]、[12]、[18]，基于成对车辆照明的方法[6]、[8]、[14]、[16]，基于显著性映射的方法[17]、[27]，以及基于人工设计的特征提取方法[13]。获得roi后，我们需要进一步确定这些候选区域是否包含车辆。X. Dai[18]使用Hough变换检测前灯的圆，进一步分割区域来定位车辆。Pradeep等[14]采用红色阈值法获取roi，并根据形状相似度和区域大小搜索成对尾灯来检测车辆。Chen等人基于显著性方法[27]生成roi，并将可变形部件模型(DPM)应用于车辆检测。Kosaka等人[13]使用高斯拉普拉斯运算检测斑点后，使用SVM对车辆进行分类。

近年来，基于cnn的方法在夜间车辆检测研究领域得到了越来越多的发展。[20][23]采用基于gan的数据增强方法对训练数据集进行扩展，以提高检测器的性能。Cai等人[19]结合视觉显著性和先验信息生成roi，并使用CNN作为分类器。Kuang等人[1]提出了一种生物启发的方法来增强图像对比度和亮度，并进一步提取了LBP、HOG和CNN的融合特征。他们还[3]提出了一种基于张量分解和特征排序的特征提取方法。在[2]中，将基于nakagami -image的方法与CNN特征相结合生成roi。参考文献[1][3]将传统方法与CNN方法相结合，提取不同的特征生成区域建议。Mo等人[24]通过训练基于cnn的高光检测器，成功地解决了其他灯和车辆灯之间混淆的问题。

现有的带有视觉图像的夜间车辆检测方法主要采用车灯进行检测。特别是，基于cnn的方法比非cnn方法具有更强的适应性和鲁棒性。

B.基于深度学习的目标检测

基于深度学习的目标检测方法可以分为两阶段检测和一阶段检测两种。

1)两级检测

RCNN是第一种两级目标检测网络[28]。首先，选择搜索算法生成一系列区域建议;然后将建议输入CNN进行特征提取;最后，利用SVM预测每个区域提议是否包含一个对象。提出了一系列基于RCNN的改进网络，如Fast RCNN [29]，更快的RCNN [30]， SPP-Net[31]等。这些网络采用不同的方法去除检测网络中的冗余部分，以提高检测速度和准确性。

2)单级检测
一级检测器，以SSD[33]和YOLO表示[34] -[36]，突破了两级探测器的检测速度瓶颈。但是，与两阶段方法相比，检测精度降低，特别是对于小目标。YOLOv3和SSD采用多尺度检测，提高小目标检测性能。

这些检测网络在理想环境下具有较好的性能。但应用于夜间车辆检测时，精度较低。我们建议在基于cnn的检测框架之前加入FTE模块，结合昼夜特征对车辆进行检测。

3)GAN：生成对抗网络

GAN具有发生器和鉴别器，在超分辨率[37]和去雨[38]等应用中取得了良好的效果。这些应用大多涉及到GAN生成图像来增强训练数据，从而生成类似于真实图像样本的“虚假”图像。

基于gan的图像到图像的转换是指将图像从一个场景转换到另一个不同的场景。Pix2pix[39]，[40]使用成对的图像作为监督实现图像到图像的转换。然而，由于车辆移动频繁，很难在固定的位置获取成对的白天和夜间图像样本。为了解决输入昼夜配对图像的问题，首先提出了循环一致性损失的CycleGAN[26]，实现了对未配对图像的图像平移。图像平移实现了图像中物体特征的转换。例如，将图像由夜间转换为白天后，图像的背景亮度变得更亮，车辆更容易被识别。

CycleGAN在训练时只需要不同域的图像，而不需要昂贵的ground-truth配对图像数据，这对于实际应用具有重要意义。因此，我们将使用CycleGAN的结构进行夜间的特征翻译。

三、提出的方法

在本节中，我们详细阐述了所提出的用于夜间车辆检测的方法。针对夜间弱环境光或复杂车灯的影响，提出一种特征级联网络结构FteGanOd来增强车辆特征，提高车辆检测精度。FteGanOd由两个模块组成: 特征转换增强(FTE)模块和目标检测(OD)模块。FTE模块以CycleGAN为基础网络，通过对不配对的输入数据进行学习，实现场景从夜晚到白天的转换。OD模块与FTE模块级联，提取融合增强的白天特征，以更高的检测精度检测车辆。

A. 提出的FTEGANOD网络

利用未配对图像作为输入进行训练的能力是CycleGAN在适应不同交通场景方面的典型优势。CycleGAN的缺点是在将夜间图像映射到白天图像时，无法学习到车辆物体的类别和位置。因此，我们对此进行了深入的研究，实现了从夜间到白天的局部车辆特征和全局场景特征的转换。提出了一种基于CycleGan的FTE模块和特征级联OD模块，克服了循环gan的缺点，提高了检测精度。与其他训练方法不同，这里我们将FTE和OD模块一起训练，以引导FTE优化的方向，使车辆的特征更加突出。

图2给出了本文提出的FteGanOd网络的特征级联结构，该网络由四部分组成(A)、(B)、(C)和(D)，其中(A) + (B)为FTE模块，其中(A)为基于CycleGAN的生成器，将图像从夜间转换为白天，(B)为增强部分，将(A)获得的昼夜多尺度特征图融合，对车辆特征进行增强，最终生成增强特征EF图作为部分(C)的输入。部分(C)是基于现有检测器结构(如YOLOv3等)的OD模块。Part (D)用于在训练过程中生成白天图像x_fake。

图2。提出的FteGanOd架构:输入夜间图像x， (A) + (B)为FTE模块，用于转换和增强夜间图像中车辆的特征。在(A)中，Gday过程将图像从夜间域映射到白天域。特征f1 - f3是编码后的特征映射，从x中提取夜间图像特征;特征f5 - f7是解码后的特征图，将夜间特征转换为白天特征。在(B)中，融合多尺度特征得到增强特征(EF)。最后将EF送入OD模块(C)，在(D)中利用卷积层生成假的白天图像x_fake。

B. FTE模块

1) 图像转换

本文提出的FTE模块基于如图2所示的CycleGAN网络。假设特征图 $f_i$ 位于第i层，具有维数 $h_i \times w_i \times c_i, i\epsilon N$ 。让 $E_i$ 成为一个泛型函数，它充当基本生成器块，在我们的实现中，它由一个卷积层、一个实例归一化和一个激活函数组成。 $E_i^{encode}$ 是将输入图像编码为多尺度特征图的操作。

（1）

式中， $f_0$ 为网络输入的夜间图像，大小为N × N，设N = 416。特征图 $R^{w+h+c$ 的维数包含[h × w× c]维的激活量，c为生成器中间激活的通道数， $c=2^{b+1+i}$
这里我们设b = 4。 $E_{decode}^i$ 是将经过翻译的白天特征解码到最终输出的恢复图像的操作。

（2）

最终输出伪白天图像x_fake为 $f_8$ 。

对提出的FteGanOd网络进行训练后，得到编码和解码后的特征图，部分特征图如图3所示。输入的夜间图像x经过数层卷积逐渐编码，形成f1到f3的feature map。由于夜间背景光线较暗，第一卷积层feature map f1中的车辆特征和轮廓不明显，如图红色方框所示。与f1相比，feature map f2的噪声有所加剧，但我们仍然可以通过道路的位置看到车辆的基本形状。在对f2进行进一步编码后，形成高级语义特征图f3, f3代表了车辆和夜间域背景的特征向量，在与图像对比度的微小差异中，我们仍然可以看到车辆的微弱特征。随后，由9个Resnet块组成的转换器将夜域特征向量f3映射到日域特征向量f5到f4。Resnet块通过在两个域中保持相似的特征并转换不同的特征来完成夜间特征到白天特征的映射。

图3。特征f1 - f7分别是 $G_{day}$ 不同卷积层的特征映射。输入的夜间图像x经过 $G_{day}$ 得到最终的翻译白天图像x_fake。“size”表示特征图的实际大小。红色方框标明车辆的位置。

接下来，解码器将白天域的特征f5转换为低级特征f6。从f5可以看出，它已经有了更清晰的车辆外形和一些细节。在f6中，车辆与背景的对比进一步加强，白天风格更加突出。与f1相比，f7特征图中车辆和道路上的噪声显著降低，车辆细节得到了很好的展示，这有助于检测器识别车辆，即使是远处的车辆。最后生成的白天图像x_fake的形状和细节都比输入图像x更清晰。虽然一些小区域看起来不自然，但车辆已经从背景中明显区分出来了。

2)多尺度特征融合与增强

在图3中，如果直接使用白天图像x_fake来检测车辆，会在一定程度上丢失x图像的夜间相关信息(车灯和反射)。因此，应采用夜间特征来增强车辆特征。如图2 (B)部分所示，我们提出多尺度特征融合来融合 $f_i$ 的特征(夜间)和 $f_{2b-i}$ (白天)，增强车辆特征，进一步提高车辆的检测精度。

多尺度特征融合可能会产生[32]和高特征维数的混叠效应。为了解决这一问题，在我们融合不同尺度的夜间特征和白天特征之前，每个特征图都首先通过卷积核来减少混叠效应，降低特征的维数，并将不同尺度的特征重新调整为相同的尺度。选择EF尺度为输入图像(208x208)的一半可以降低网络复杂度。如果EF尺度大小为416x416，图2 (B)部分的计算量会呈指数增长，甚至会使检测网络的计算复杂度增加一倍。

将 $F_{conv}$ 、 $F_{deconv}$ 、 $F_{concat}$ 分别表示为卷积、反卷积、拼接操作。特征融合单元的操作如下所示
(3) -(7)。 $F_{conv}$ 表示经过k的特征图大小为n × n，步长为s的 $k^{CBL\_n\_s}$ 卷积核，如图2所示。

首先通过具有可学习权值的卷积层调整特征 $f_i$ ，进行尺度匹配和降维。

这一步的目的是调整大小 $w_i \times h_i$ 为 $N/2 \times N/2$ ，将通道数减半至 $c_i/2$ 。接下来，将这些特性连接起来形成 $f_{concat\_i}$ 。

将Eq.(5)的级联特征 $f_{concat\_i}$ 进一步融合，分别通过1 × 1的卷积核降维并再次级联。

最后，通过式(7)得到增强的融合特征 $f_{EF}$ .

将特征 $f_{EF}$ 送入OD模块进行车辆检测.

C. OD模块

在B部分融合夜间特征和白天特征后，这里提出检测模块OD提取车辆特征，并在增强融合特征EF上进行检测。

传统的检测方法采用白天RGB图像x_fake作为检测模块的输入，检测模块为两周期网络，进一步引入了更多的参数和计算复杂度。为了解决这些问题，我们提出了一种检测模块OD，通过EF与FTE模块级联形成一个单周期网络。直接使用FTE增强的融合特征代替RGB图像作为OD的输入，实现整个网络的端到端训练和检测，减少网络层数和参数。

由图2可以看出，C部分为OD模块，可以选择YOLOv3、SSD、Faster-RCNN等网络。这里我们以YOLOv3框架为例来说明我们的检测模块OD。这个示例也可以应用于其他检测器。如图4所示，上部为YOLOv3的原始结构，以416 × 416 RGB图像作为输入。YOLOv3采用Darknet-53进行特征提取，最小特征尺度为13 × 13，是输入尺寸的1/32。由于EF的大小是YOLOv3原始输入的一半(208 × 208)，所以如果使用YOLOv3的传统结构，×32降采样后的feature map的比例会降低到7 × 7。当特征图分辨率降低一半时，将无法检测到小尺度物体。为了保持特征尺度的分辨率，我们采用YOLOv3的Layer2 - Layer7网络结构作为OD模块，避免了对小目标的低检测，如图4底部所示，去掉了Darknet-53中最大的尺度卷积层，减少了一次下采样操作，并将RGB图像替换为EF模块。

为了验证所提出的OD模块的有效性模块，我们使用三个检测网络（YOLOv3、SSD 和Faster RCNN），包括单阶段和双阶段的方法作为检测模块。

D. 损失和训练

在本节中，我们详细介绍了FteGanOd网络的丢失以及FTE模块和OD模块的联合训练。

图5为我们的FteGanOd训练框架，绿色路线对应图2中的绿色路线，图5中红色路线部分为用于训练的结构。FTE参照CycleGAN网络[26]，包含两个发生器( $G_{day}$ 和 $G_{night}$ )和两个鉴别器( $D_{day}$ 和 $D_{night}$ )。 $G_{day}$ 是将图像从白天转换到夜晚的生成器。相反， $G_{night}$ 是将图像从夜晚转换到白天的生成器。 $G_{day}$ 输出的Day-fake(如图5中的蓝色圆圈所示)是假的白天图像数据，Day-real是实际的白天真实图像数据。利用 $D_{night}$ 和 $D_{day}$ 分别对夜间和白天的图像数据进行真伪判断。这里只介绍 $G_{day}$ 的部分训练。

图5、训练框架概述:图中绿色路线对应图2，其余为仅用于训练的结构。

OD模块（ $L_{Det}$ ）的损失包括包围盒回归损失(bounding box regression loss, $L_{loc}$ )和分类损失(classification loss, $L_{cls}$ )。FTE模块的损耗由周期一致损耗( $L_{cyc\_night}$ )、鉴别损耗( $L_{D\_night}$ )和检测损耗( $L_{Det}$ )三部分组成。

对于夜域图像x，图像平移循环应该能够使x回到原始图像，即 $x \rightarrow G_{day}(x) \rightarrow G_{night}(G_{day}(x))\approx x$ ，这称为前向循环一致性，循环一致性损失定义为:

损失 $L_{Det}$ 被添加到FTE模块的Loss函数中，这是优化的一个重要部分，使其专注于增强目标区域和车辆的融合特征。 $L_{Det}$ 中的损失 $L_{lcs}$ 用于目标特征的识别。相对于 $L_{loc}$ , $L_{cls}$ 对特征融合增强的效果更好，因此对 $L_{cls}$ 和 $L_{loc}$ 采用不同的权重。
FTE模块的损失为:

这里，λ1 = 1.4， λ2 = 0.7(经验定义)。FTE和OD的优化并行进行。

四、实验方法

本节将介绍在FteGanOd网络上进行的实验。我们首先介绍了用于训练和测试的数据集，然后介绍了我们提出的FteGanOd网络的评估方法、实验过程和训练方法。最后，对实验结果进行了分析和讨论。

A、数据集

采用公共数据集和私有数据集对提出的FteGanOd网络进行评估。公共数据集，Berkeley
Deep Drive (BDD) dataset1[25]，拥有10万张真实驾驶场景图像，包括训练集(7万)、测试集
(20,000)和验证数据集(10,000)。它是目前具有标注的大规模、多样化、复杂的驱动数据集。图像的标签包括10个类别(公共汽车、卡车、汽车、人、火车等)，不同的天气(晴天、雨天等)，多种类型的场景(道路、城市街道等)，时间(黎明或黄昏,天,晚上)。

我们根据时间标签从BDD中选择所有的夜间图像，并进一步修改标签类别。我们将车辆类别定义为只包含公共汽车、卡车和轿车的数据集。我们的训练数据集(25338张图像)从BDD训练集中选择
260000年车辆目标;我们的验证数据集(3526张夜间图像)选自BDD验证数据集，有超过37,000个车辆目标。我们的训练和验证数据集，称为DATASET1(困难)，包含各种天气、场景、遮挡和截断目标，即许多难以识别的目标。DATASET1(困难)也是一个高密度数据集，平均每张图像大约有10辆车。因此，我们精心挑选了3000张图片(2000用于训练，1000用于测试)(困难)。将图像大小调整为416 × 416后，将边界框小于25像素的车辆和难以区分的车辆去除，形成一个低密度(平均每图像5辆车辆)数据集，称为DATASET1(容易)。

表1、对数据集的解释。

我们的私人数据集是通过智能驾驶汽车上的单目摄像头在中国长春和深圳的城市地区获得的。我们从私有数据集中选择20,877帧作为DATASET2数据集，其中80%(16,700帧)用于训练，20%(4177帧)用于验证。车辆类别的定义方式与DATASET1相同。DATASET1和DATASET2的原始图像分辨率为1280×720像素，在我们的实验中调整为416×416或300×300。图6显示了DATASET1和DATASET2数据集的一些样本。可以看出，多车道、高密度的交通增加了环境的复杂性和检测难度。表1是关于数据集的详细说明。

图6。我们的数据集样本带有地面真相边界框:(a)来自DATASET1(困难)。在复杂的照明环境下，很难识别远处的小目标和被遮挡的车辆(红色边框);(b)来自DATASET1(简单);(c)来自DATASET2。

B.性能评估

在OD模块的基础上，我们使用YOLOv3、SSD和Faster RCNN三种网络框架作为检测模型，与目前最先进的目标检测方法进行比较。这些网络在DATASET1和DATASET2上进行了验证。

1)评价方法

为了评价实验结果，我们使用以下常用的车辆检测指标。

(1) precision - recall (PR)曲线用来描述查准率和查全率之间的关系。误检率(FDR)可以计算为FDR = 1 -精度。召回率又称真阳性率(true positive rate, TPR)，遗漏率可以表示为miss rate = 1 -召回率。(2)建立的平均精度(mean average precision, mAP)被广泛用于评价目标检测算法的性能。平均精度(AP)与PR曲线下的面积成正比。由于本实验中只有一个类别，AP与mAP等价。(3)我们以每秒帧数(FPS)来定量评估不同网络的检测速度。此外，如果预测边界框与地面真值框上IOU的交集大于0.5，则认为该交集被赋予正标签。

2)训练CYCLEGAN

CycleGAN是FTE模块的基本网络，CycleGAN的源代码公开可用采用训练后的CycleGAN模型作为FTE训练前模型，有助于提高FTE训练时的稳定性和收敛速度。训练参数使用默认设置。待10批平均损失稳定后，训练结束。

3)训练探测器

我们采用YOLOv3、SSD300和Faster RCNN网络作为检测器YOLOv3和Faster RCNN的输入图像分辨率为416 416,SSD300为300 300。保存最佳模型作为检测模块OD的预训练模型。

2 https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

3 In order to realize the cascading of enhanced module and detection

networks, and to compare the performance between different networks,

the codes used are all based on the pytorch framework.

YOLOv3: https://github.com/eriklindernoren/PyTorch-YOLOv3

SSD: https://github.com/amdegroot/ssd.pytorch

Faster RCNN: https://github.com/jwyang/faster-rcnn.pytorch

图7、图像变换、融合和增强结果:(a)原始图像。(b)使用CycleGAN变换结果。(c) FTE生成的转换增强图像。

4)训练网络

我们使用三种对象检测网络作为OD模块的结构，并与FTE模块级联得到三种不同的夜间检测网络。具体培训步骤如下。

训练过程和损失如图5所示。我们使用预训练的模型和微调网络参数来减少训练时间。FTE的生成器使用CycleGAN训练的网络权重进行初始化，用较小的学习率微调生成器参数（我们将学习率设置为0.00001 - 0.0001）。同样地，我们使用3）中检测器训练的权重来初始化OD，并以较小的学习率进行微调。我们随机初始化了FTE的特征融合的权重，并设置了一个大的初始学习率（0.001 - 0.01）。输入图像的分辨率被设置为416×416（包括以SSD300为基础结构的网络作为检测模块）。图像预处理主要包括随机亮度、颜色抖动和随机镜像。为了确保每种方法都能得到最好的结果，我们对每个网络进行了50次训练。验证阶段是在训练期间进行的，最佳模型被保存。由于每个网络的参数不同，训练时间也不同。YOLOv3、SSD、Faster RCNN和我们的方法的训练时间分别约为52小时、20小时、46小时和63小时。

表2。不同网络下AP的比较

5)实验平台和计算性能

所提出的网络是通过pytorch框架在Intel(R) Xeon(R) PC上运行来实现的。
E5-2650V4 CPU 2.2GHz, NVIDA GTX1080Ti GPU。机器运行的是带有NVIDA的Linux Ubuntu 16.04 CUDA 9.0和cuDNN 7.0。

C.结果和讨论

本节给出并讨论了实验结果。在不同的数据集上验证了所提方法，如表2所示。

在DATASET1(困难)上，FteGanOd +YOLOv3的AP较YOLOv3提高了6.4%，FteGanOd + SSD的AP较SSD提高了5.4%，FteGanOd + Faster RCNN较Faster RCNN提高了4.7%。在DATASET1(简单)和DATASET2上，级联网络的ap增加了约6%。

图7显示了传统的CycleGAN（图7（b））和我们提出的FteGanOd（图7（c））在DATASET1（困难）上测试的翻译、融合和增强结果的比较。传统的CycleGAN（图7（b））的结果与真实的日间图像有很大的不同，因为很多细节纹理被丢失了，例如汽车的轮廓模糊，尾灯很弱，这降低了车辆检测的准确性。图7（c）显示了我们提出的FteGanOd的融合和增强结果，与CycleGAN的放大部分相比，车辆轮廓鲜明，尾灯清晰。这种增加的细节有助于在弱光环境下区分车辆，减少来自街灯的干扰，导致更高的准确的车辆检测。

图8展示了YOLOv3和我们提出的FteGanOd方法在数据集DATASET1上的车辆检测结果对比(困难)。可以看出，在弱光条件下，FteGanOd比YOLOv3检测到的车辆更多。因此，本文提出FteGanOd具有FTE和OD模块，大大减少了假阳性检测的数量。

图8。来自DATASET1的检测结果(困难):(a)原始图像。(b) FTE结果。(c) FteGanOd + YOLOv3检测结果。(d) YOLOv3检测结果。

图9、各网络在不同数据集上的PR曲线。

图9是在不同数据集上测试的各个网络的PR曲线。可以看出，我们提出的方法在相同的查全率下获得了更高的查准率。由图9(a)可以看出，在召回率= 0.5时，FteGanOd + Faster RCNN的准确率为0.824,Faster RCNN为0.633，提高了约19%。当precision固定在0.8时，FteGanOd + Faster RCNN的查全率为0.519，而Faster RCNN的查全率为0.451，提高了约7%。因此，我们提出的FteGanOd方法比其他方法具有更高的查全率和查全率。

表3、计算性能。

D.与现有方法的比较

最近关于夜间车辆检测的大多数研究都是在他们自己的私人数据集上验证他们的方法，这些数据集不对外开放。由于我们没有用于夜间车辆检测的基准数据集，因此很难将我们的方法与它们进行比较。由于场景的不同，这些数据集之间存在很大的差异。图10是相关论文发表的其他数据集的一些样本图像。他们使用了不同密度和复杂性的数据集。因此，我们不能直接将我们的实验结果与他们的进行比较。

然而，我们可以从其他角度分析不同的结果。表4列出了其他文献的检测精度。图10为他们论文发表的对应样本图片。大多数方法的评估使用低密度交通条件和低复杂度的背景。我们使用的数据集(DATASET1(简单)和DATASET2)平均每张图像包含5辆目标车辆，比那些私有的数据更复杂数据集[1]，[13]-[15]，[24]，[22]。该方法能够适应不同光照条件下的自然驾驶条件。可以看出，我们的方法(如FteGanOd + Faster RCNN)在更复杂的数据集上比现有方法在更低复杂度的数据集上表现更好或达到了相似的检测率。[22]方法的查准率为97.1%，查全率为55.0%。我们的方法(FteGanOd + Faster RCNN)在相同召回率下达到了97.8%的更高精度。

图10。在相关论文中发表的其他数据集的样本图像:(a)[1]中使用的复杂场景图像;(b)来自[13]的光团检测数据集;(c)[14]的夜间图像;(d)夜间图像及[15]检测结果;(e)来自[24]的带注释的图像。(f)夜间图像及[22]的检测结果。

表4、准确性和数据集的比较。

五、结论

在本文中，我们提出了一种有效的夜间检测方法FteGanOd，该方法将特征平移增强FTE模块和目标检测OD模块级联。该方法旨在解决照明环境较弱/复杂、交通流量密集的城市道路夜间车辆检测低的问题。该模块利用非配对输入图像和CycleGAN将夜间图像转换为白天图像，并进一步融合多尺度特征来增强夜间车辆特征。

增强特征在夜间保留车灯的重要信息，在白天增强车辆特征。实验结果表明，该方法有效地增强了夜间车辆的特征，抑制了其他光源的干扰。有助于提高检测精度，降低误/漏检率。此外，我们发现DATASET1 (hard)中有一些小目标在通过FTE模块后被漏掉。这可能是因为小目标被削弱，并被识别为背景的一部分。提高夜间远程小目标的检出率是我们今后需要研究的重要工作。