Corner Cases for Visual Perception in Automated Driving: Some Guidance on Detection ... (arVix 2021)

声明：此翻译仅为个人学习记录

文章信息

• 标题：Corner Cases for Visual Perception in Automated Driving: Some Guidance on Detection Approaches (arVix 2021)
• 作者：Jasmin Breitenstein, Jan-Aike Termöhlen, Daniel Lipinski and Tim Fingscheidt
• 文章链接：https://arxiv.53yu.com/pdf/2102.05897.pdf

摘要

  自动驾驶已经成为一个主要的话题，不仅在活跃的研究界，而且在主流媒体报道中也是如此。由于深度学习技术的进步，这种智能车辆的视觉感知在过去十年中取得了巨大进步，但仍存在一些挑战。其中一个挑战是发现极端案例。它们是在驾驶过程中发生的意外和未知情况。传统的视觉感知方法通常无法检测到它们，因为在训练过程中没有观察到极端案例。因此，它们的检测是高度安全关键的，检测方法可以应用于大量收集的数据，以选择合适的训练数据。对极端案例的可靠检测不仅将进一步自动化数据选择程序并提高自动驾驶的安全性，而且还将以积极的方式影响公众对新技术的接受程度。在这项工作中，我们通过每个级别的扩展示例集，继续对不同级别的极端案例进行了系统化。此外，我们将检测方法分为不同的类别，并将它们与极端案例级别联系起来。因此，我们给出了展示特定极端案例的指导，以及如何从技术上检测这些案例的基本指南。

1. 引言

  自动驾驶及其技术在过去几年中取得了重大进展。尽管已经取得了这一进展，自动驾驶的进步也受到了很多关注，但在日常生活中安全可靠的应用仍然面临一些挑战。视觉感知方法是智能汽车的重要组成部分。他们被要求检测并了解他们的环境。因此，已经存在大量用于与车辆环境相关联的视觉感知任务的算法，包括目标检测（例如[1]）、语义分割（例如[2]、[3]）、实例分割（例如[4]）等等。然而，一个关键因素是视觉感知方法在与正常交通情况不同的意外情况下的行为。这些情况，即所谓的极端案例，存在于无数的例子中。它们的主要和联系特征是偏离了通常认为的正常交通行为。例如，可能的极端案例是每个人都害怕在开车时遇到的典型情况，例如，一个人从遮挡物后面跑到街上，一个幽灵司机或只是在街上丢了的货物。

图1：[5]中给出的不同水平上的极端案例的系统化。检测的理论复杂性通常从底部到顶部增加。

  可靠检测此类极端案例对于自动驾驶的安全至关重要，因为它可以减少自动驾驶汽车的事故数量，从而有助于该技术的广泛接受和应用。在开发过程中，在线、车内和离线应用程序都是必要的。一种稳定且可靠的极端案例检测方法可识别关键情况。在在线应用程序中，它可以用作安全监测和警告系统，在发生情况时识别情况。在离线应用中，极端案例检测器应用于大量收集的数据，以在实验室中开发新的视觉感知算法时选择合适的训练和相关测试数据。虽然在线和实验室中的检测都与安全有关，但离线应用程序也通过自动化训练数据的选择过程，节省了金钱和时间。因此，已经存在各种各样的工作来处理汽车环境中的极端案例的检测，例如障碍物[6]、[7]或新出现的物体[8]的检测。

  尽管可靠和高效的极端案例检测将对自动驾驶产生巨大影响，但仍缺少一致的公认定义和分类来描述它们。我们遵循Bolte等人[9]的定义，即当“在相关位置存在不可预测的相关对象/类”时，会出现极端案例。为了促进检测器的系统开发，[5]中引入了分类。图1中可以找到极端案例系统化的精简版本。它描述了根据检测的理论复杂性排序的层次结构。我们考虑像素、域、对象、场景和场景级别的极端案例，这将在第二节中详细描述。

  虽然这种系统化已经为更系统地开发检测方法铺平了道路，但它也提出了如何实际检测每个级别的特定极端案例的问题。在智能制造的背景下，Lopez等人建立了系统可能故障的系统化[10]。接下来，作者将检测方法分类为特征提取、回归、基于知识的、信号模型、状态估计、聚类和分类方法，并将每个方法类别与智能制造中的特定异常类别联系起来。我们遵循他们的示例，通过对检测方法进行分类，并将其与先前定义的极端案例级别相关联，以扩展自动驾驶中视觉感知的极端案例的先前系统化。此外，我们还为每个级别提供了极端案例的具体示例，并为基本检测方法提供了第一个指南。

  由于深度学习方法在视觉感知算法中的普遍存在和成功，我们将这种分类局限于深度学习方法。它们是功能强大的方法，在许多视觉感知应用中具有很好的结果，并且在检测异常事件方面也取得了成功。此外，我们将这项工作局限于纯视觉方法，不包括雷达和激光雷达等其他传感器数据，但考虑可以从单个图像帧或整个图像序列中检测到的极端案例。

  本文的结构如下。我们简要回顾了图1中极端案例的系统化。然后，我们为每个极端案例级别提供了更全面的示例，目的是能够更全面地了解极端案例级别可以包含的情况，并通过几乎模拟状态方向来记录极端案例。此外，我们通过各自的相关工作，按检测方法的类别扩展了先前的系统化。最后，我们通过为新方法的开发提供提示和直觉，将检测方法映射到极端案例级别。

2. 极端案例系统化

  此前，已经引入了自动驾驶中视觉感知的极端案例系统化[5]，我们在下文中对此进行了简要总结。这种系统化可以在图1的简化版中找到。根据检测复杂度对极端案例级别进行排序。检测复杂度从低到高，我们在像素级别上有极端案例，可以分为全局异常值和局部异常值。这些例子分别是过度曝光和死像素。然后是由域变化（例如，位置、天气或一天中的时间变化）引起的域级极端案例。在对象层面上，极端案例是单点异常或新奇之处。例如，这可以是出现在街道上的野生动物，例如狮子，或助行工具，如过山车或拐杖。对于场景级极端案例，我们再次区分两种类型：集体异常和上下文异常。上下文异常表示位于不寻常位置的已知物体，如街道中央的一棵树。集体异常是已知数量异常的物体，如演示。

  最高复杂度的检测具有场景级的极端案例，这些情况在图像序列的过程中被观察到。以类似的方式观察到了危险场景，但仍有可能发生碰撞，例如超车。尚未观察到新的情况，但不会增加碰撞的可能性，如进入高速公路。异常情况也没有被观察到，但会产生非常高的碰撞可能性，例如一个人突然走到自己车辆前面的街道上。

  虽然在系统化[5]的介绍中，详细讨论了不同的极端案例级别，并指出了合适的数据集和度量，但在第四节中，我们按照Lopez等人[10]的方法，将该系统化扩展了另一个维度。在这个维度中，不同的检测方法被分为广泛的类别，并与各个极端案例级别相关联。此外，我们通过一个全面的示例列表扩展了图1中的列，这些示例基本上提供了极端案例的剧本。

3. 展示极端案例

  在表I中，我们提供了图1中极端案例级别的示例。这是为了澄清在系统化的各个层面上可以找到哪些极端案例，并几乎作为可能极端案例记录的状态方向。此外，它还指示了开发和测试可靠的极端案例检测器所需的数据集内容。同样，表I根据各个极端案例级别对示例情况进行了排序。这些情况描述得很详细，因此可以直接转换为数据采集的方向。此外，以下各节将介绍检测方法的类别，以便稍后与各个极端案例级别相关联，从而给出一些检测表I中所示示例极端案例的指南。

表I：如图1所示，极端案例系统化的每个级别的示例情况。

4. 检测方法的概念

  我们区分了五种检测方法的广泛概念：重建、预测、生成、置信分数和特征提取。我们将置信度分数类别细分为学习分数、贝叶斯方法和通过后处理获得的分数。

  重建方法通常基于自动编码器类型的网络。大多数这些方法都遵循这样一种范式，即正常性比异常性更能被忠实地重建。这导致基于重建的方法出现在极端案例层次的每个级别上。特别地，它们可以应用于涉及单个图像的极端案例和包括整个图像序列的极端案例。Hasan等人[11]在端到端和手工特征上训练自动编码器，其中重建误差用作异常分数。当他们考虑视频序列时，也存在将单个图像作为网络输入的类似方法[12]。一些重建方法依赖于原型学习。在训练过程中，在潜在空间中学习正常样本的原型，与异常样本相比，这在推断过程中导致正常样本的更可靠的重建[13]。Oza等人[14]还利用类条件自动编码器中的重建来进行开集识别，在无监督的开集训练之后，他们执行有监督的闭集训练。

  基于预测的方法主要可以在场景级别找到。通常，他们预测未来帧，然后将其与真实帧进行比较，以检测任何异常。因此，可以以监督的方式对它们进行训练，我们假设所有训练样本都是正常的。Bolte等人[9]专门将这种方法应用于自动驾驶中的极端案例检测。另一种方法使用生成对抗性网络结构预测视频中的未来帧，同时确保外观和运动约束[15]。

  生成方法和基于重建的方法密切相关，因为这种类型的方法也可以基于重建误差做出决定。然而，生成方法也考虑了鉴别器的决定或生成和训练分布之间的距离。此外，一些人还简单地借鉴了对抗性训练或干扰等相关技术。Lee等人[16]引入了一种置信损失，以对分布外样本实施低置信，同时也为该任务生成边界分布外训练样本，并联合训练生成目标和分类目标。基于对抗的训练也用于对噪声图像执行统一的置信预测，同时导致异常样本的置信度降低[17]。基于从掩模生成图像，Lis等人[18]通过考虑生成的图像与原始图像之间的误差来识别数据中的未知对象。生成方法，即变分和对抗性自动编码器，已应用于集体异常检测，将原始图像和生成图像之间的误差作为异常分数[19]。此外，可以通过生成方法测量域偏移。例如，由瓦瑟斯坦距离[20]指导的表示学习使用一般的对抗性网络启发架构，其中领域评论家网络估计源和目标领域特征之间的瓦瑟斯坦距。Löhdefink等人[21]应用基于生成对抗性网络的自动编码器，基于地球移动者的距离检测域移动[22]。

  基于置信度得分的方法分为三类，以使该方法更加清晰。那些通过后处理获得分数的人，那些学习分数的人以及那些依赖贝叶斯方法的人。

  置信度分数可以基于对神经网络应用后处理技术而不干扰训练过程。存在通过将软最大值与固定阈值进行比较来获得置信度得分的基线方法[23]。此外，例如，通过在推断期间将Kullback-Leibler散度匹配应用于softmax输出，以与从多类别预测设置中的验证集获得的类别特定模板进行比较，来获得分数[24]。该方法以有监督的方式进行训练，不需要异常示例，并给出分割图作为输出。另一种后处理方法对输入采用温度缩放[25]。它基于这样一种范式，即对于这种修改的正常输入，网络仍然能够推断出正确的类别，但不能推断出未知的类别。它也仅通过正常的训练样本进行监督。

  与通过后处理获得置信度分数不同，它们也可以在训练中学习。在这类学习的置信度分数中，我们还包括一般依赖于训练集的任何方法，例如，提供阈值。作为基于训练集的阈值的示例，Shu等人[26]计算了三个阈值：一个用于接受样本，一个用于拒绝，一个基于距离的阈值用于样本落在两个其他阈值之间。由于基于阈值的值是基于训练集的，因此我们将所得的置信度分数视为学习所得。虽然该方法是以监督的方式进行训练的，但在训练期间不需要极端案例示例。然后，该方法将标签输出为已知类之一或未知类。获取学习置信度分数的另一种方法是从多任务学习中借用技术，并将第二个分支纳入网络以学习置信度分数[27]。同样在这种情况下，训练是以监督的方式进行的，但只需要正常的样本。虽然最初用于分类，但该方法也适用于分割[24]。学习的置信度分数可以通过原型学习获得，其中分数基于到正常训练样本的距离[28]。开放最大值激活还提供了正常样本监督训练后的学习置信分数，目的是检测未知[29]。学习从正常训练数据中检测应用于数据的几何变换，通过假设可以在正常样本上更准确地检测这些变换，也可以获得学习的置信分数[30]。

  贝叶斯置信分数通常通过对模型不确定性（认知不确定性）的估计来获得[31]。训练网络以输出其权重上的后验分布。这类方法的典型示例包括蒙特卡罗漏失技术[31]、[32]或深集成[33]。监督训练依赖于正常的训练数据。获取模型不确定性分数的当前方法是确定性不确定性量化，其基于径向基网络的思想[34]。在语义分割设置中，贝叶斯神经网络为每个像素提供类别标签和模型不确定性的估计。这种不确定性的常见度量包括熵和方差[32]。贝叶斯SegNet引入了一个应用蒙特卡洛丢弃进行语义分割中不确定性估计的示例，该算法将丢弃单元纳入网络架构，以获得模型的置信图[35]。Pham等人[36]在开放集识别设置中使用贝叶斯框架进行实例分割。通过考虑多帧上的移动平均值，实现了包括整个时间跨度的扩展[37]。

  特征提取方法采用深度神经网络从输入数据中提取特征。然后，使用另一种技术进一步处理这些特征，或者直接使用它们来提供分类标签。与置信分数相反，特征提取方法要么直接将样本分类为极端案例，要么以另一种方式使用提取的特征来获得决策。置信度分数通常提供其决定标签旁边的分数。一种这样的方法提取特征，然后在训练期间拟合到超球面上[38]。因此，虽然该方法是无监督的，但它要求训练数据被认为是正常的，因为在推断中，如果超球面上的距离超过阈值，则数据被判定为异常。当涉及视频序列时，还可以从单个帧中提取特征，然后在特定时间间隔上考虑特征，以将间隔内的概率分布与外部的概率分布进行比较[39]。用于开放集识别（CROSR）的分类重建学习还学习未知类别检测器的特征表示[40]。特征表示由从重构网络的每个中间层学习的潜在表示组成。通过基于极值理论的正常训练数据的提取特征与相应的类平均值之间的距离分布来建模类成员[40]。标准分类方法以有监督的方式训练网络，使用softmax函数作为最后一层的激活，以获得输入样本的对应类别。Jatzkowski等人[41]利用这种方法进行过度曝光检测。在域自适应方法中也可以找到特征提取方法。例如，在自适应过程中，基于交叉熵的度量[42]、[43]被最小化，表明它们是域失配的有效度量。Bolte等人[44]将提取特征的均方误差作为域偏移的度量。

5. 关联检测方法和极端案例级别

  在本节中，我们将第四节的检测方法与图1中的极端案例级别相关联，这与智能制造类似[10]。我们在第四节中讨论了每个检测概念的一些示例，这些示例已经暗示了它们可以适用于哪种类型的极端案例。此外，我们希望就如何检测某些极端案例提出一个想法，例如表I中所列的极端案例。本节的摘要可以在表II中找到，哪种类型的方法已被应用于检测哪个极端案例级别。此外，我们还指出了我们认为哪些方法可以带来高效可靠的未来检测方法。

  总体而言，可以说，由于缺乏包含所有类型极端案例的大规模数据集，以及相关的极端案例检测的开放世界问题，无监督方法或仅在正常样本上训练的方法目前似乎是获得极端案例检测器的最有效方法。依赖于异常训练数据的方法需要更复杂和更专业的训练集，并且有可能专注于与其样本相关的特定极端案例，从而对推理中出现未知极端案例的可能性视而不见。

  在像素级别，据我们所知，只有少数深度学习方法存在。但是，为了检测这样的极端案例，对于全局异常值，特征提取方法提供了有希望的结果[41]，因为我们的目标是检测影响大部分甚至整个图像的极端案例。在这种情况下，可以将检测视为二进制分类问题，并且网络能够为该任务提取足够的特征。有监督的训练是可能的，因为这种类型的极端案例没有意外的多样性。然而，由于缺乏带有标记的全局异常值（如过度曝光）的自动驾驶数据集，对使用少量镜头学习或类似技术的方法进行调查可能会有所帮助。此外，我们对多个全局异常值的检测感兴趣，例如，联合检测图像中的过度曝光和曝光不足。在退出隧道的情况下，它们甚至可以出现在相同的图像中。这可以在未来的工作中通过考虑联合或多任务学习进行研究。

  局部异常值仅影响图像的一小部分，如死像素的情况。由于可以在训练数据中进行模拟，因此可以在监督下学习这些极端案例的检测。由于模拟的可能性，可以通过包含另一个类来在语义分割方法中处理检测。这也将导致像素标签，其将通知死像素的位置。我们认为，采用预测方法，并因此包括时间跨度，将有助于检测局部异常值。例如，可以将死像素的预测位置与实际位置进行比较。理想情况下，实际位置与基于所学光流的预测位置形成对比。

表II：检测方法归因于极端案例级别。A*表示第五节中检测该级别极端案例的建议方法。

  为了检测域级极端案例，我们不需要使用域自适应方法，而是找到合适的域失配度量。然而，这些度量通常源于作为损失函数使用的域自适应方法。通常，这种度量被认为是特征提取方法。虽然训练可能需要来自源域的正常样本进行监督，但应明确排除来自另一个域的用于训练的数据。在训练中使用第二领域的特定示例的方法可能无法在第三领域达到相同的性能。Bolte等人[44]使用均方误差距离来测量无监督域自适应设置中源域和目标域中特征之间的差异。考虑分布外检测方法也可能被证明是有利的，这些方法通常通过将一个数据集视为分布内数据集而将另一个数据集中视为分布外数据集来评估。分布外检测器通常通过区分它们所训练的数据集和另一个数据集来评估[23]，[16]。这些方法可以从分类设置扩展到汽车视觉感知设置，因为它们只需要通过正常样本监督训练。为了可靠地检测域级极端案例，我们需要可靠的域失配度量。为此，我们依赖于使用不止一个目标域的评估。先前已经引入了一种应用基于生成对抗性网络的自动编码器的此类措施，基于地球移动者的距离提供了新的域失配度量[21]。

  在物体层面，主要目标是检测未知的未知数[45]。这些是以前在训练中从未见过的属于新类别的例子。在训练过程中提供此类极端案例的示例将导致网络推断仅检测到与这些示例类似的极端案例，这对我们的目标来说是自取灭亡的。物体级极端案例的检测属于开放集识别的广泛领域，相关方法通常提供某种类型的置信度分数。理想情况下，对于检测和定位，我们要求像素级分数。也存在符合这一理念的重建和生成方法。然而，基于重建的方法往往提供不太有意义的结果[18]。我们希望获得输入图像的语义分割掩码，其中属于未知对象的像素与未知类别标签或与大量预测不确定性相关联。考虑到这一目标，追求置信分数和生成检测方法似乎是最有成效的，最近的许多方法都符合这一指示[24]，[18]，[28]。使用贝叶斯置信分数，我们要求与这些未知对象相关的具有高不确定性的模型。这里，应用蒙特卡洛丢弃[32]或深度集合[33]的贝叶斯深度学习的可扩展方法为检测提供了第一步。根据将这些单点异常定义为训练期间不可见的实例的定义，我们推测，有效和可靠的检测方法不能依赖于包括极端案例在内的训练样本。在这里，人们不得不求助于无监督的方法，这些方法只能使用正态样本进行训练。

  在场景层面，我们的目标是检测未知数量或位置的已知类。Challant等人[19]使用生成方法来检测集体异常，这取得了有希望的结果。此外，我们认为未来的工作应该利用实例分割，通过计算每个类的实例数量来获得组大小。在这种情况下，需要一个阈值来将集合定义为异常。可以通过使用特征提取方法来检测上下文异常[38]。然而，在汽车视觉感知的情况下，特征提取可能无法捕获整个场景的复杂性。因此，许多现有方法给出置信分数[35]、[33]或重建误差[13]，并区分正常和异常样本。我们建议调查类别优先顺序的合并如何影响过程，因为这些优先顺序可能有助于检测错位的类别代表。同样，贝叶斯深度学习产生的置信度分数表明了模型的不确定性，因此它们可以用于定位出现在异常环境中的对象。场景级别的两种极端案例类型都可以用正常数据进行监督训练，因为这两种类型都检测到已知类的实例，只是在不寻常的位置或数量。然而，与对象级别的极端案例相反，在这种情况下，虽然我们可能需要视觉感知应用程序的像素级语义分割标签，但我们还需要告诉我们对象出现在异常位置的像素级标签，或者如果出现不可见的数量，则需要图像级标签。

  场景级极端案例由在特定时间跨度内出现的模式组成，在单个帧中可能不会出现异常。这里，基于预测的方法（其决策取决于预测帧和实际帧之间的比较）提供了有益的结果[9]。纯重建方法再次获得不太可靠的极端案例检测分数。预测方法可以有监督地训练，因为它们只需要正常的训练样本，以便在推理过程中检测极端案例。这对于新奇和异常的场景尤其重要，在这些场景中，我们无法捕捉到每一种可能性，因为相应的情况有无限的数量和相当大的危险。此外，包括样本实际上可能会损害网络仅检测此类场景。对于未来的工作，我们需要定义足够的度量来检测这种类型的极端案例。虽然我们可能仍然想知道极端案例在图像中的位置，但我们也需要发生这种极端案例的时间点。为了实现这一点，我们可以考虑在一定的时间跨度内使用图像标签。在对度量进行调查之后，我们建议使用成本函数来更优先地检测出现在视野边缘的脆弱道路用户。例如，这可以提高对从遮挡物后面跑到街道上的人的检测，因为当只有几个人类像素出现在帧中时，人已经可以检测到。这种方法还需要逐帧掩码，以识别由于被遮挡或在视野之外而未被包括在前一帧中的像素。

  虽然对所有极端案例类别的检测方法都进行了单独处理，但我们还需要讨论通用极端案例度量的概念。考虑到，已经有一个理想的极端案例检测器可用，我们希望应用它来选择视觉感知模块的训练数据。它将包含所有类型极端案例的整个视频序列作为输入，问题是如何报告结果。例如，虽然我们建议在对象级别上报告像素标签，但在像素级别上报告图像标签，但需要澄清的是，最终这需要结合到一个通用度量，该度量表示视频序列是否包含极端案例，因此符合必要的训练数据。在这里，可以考虑一种类似于普通速度度量的平均度量。

6. 结论

  在回顾了极端案例的系统化之后，我们引入了一个更详细的示例列表，旨在加深对先前提出的类别的理解，并使其能够直接应用于极端案例数据的获取。此外，我们通过覆盖检测方法及其各自的类别，扩展了极端案例系统化。随后，我们将检测方法与极端案例级别相关联，并另外提供了一些关于如何检测某些类型的极端案例的基本指南。因此，我们能够描绘特定的极端案例示例，并遵循基线检测方法的粗略准则。

ACKNOWLEDGMENT

The authors gratefully acknowledge support of this work by Volkswagen AG, Wolfsburg, Germany.

REFERENCES

[1] S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards Real-Time Object Detection With Region Proposal Networks,” in Proc. Of NIPS, Montr´eal, QC, Canada, Dec. 2015, pp. 91–99.
[2] Eduardo Romera, Jos´e M. ´Alvarez, Luis M. Bergasa, and Roberto Arroyo, “ERFNet: Efficient Residual Factorized ConvNet for Real-Time Semantic Segmentation,” IEEE Transactions on Intelligent Transportation Systems (T-ITS), vol. 19, no. 1, pp. 263–272, Jan. 2018.
[3] Olaf Ronneberger, Philipp Fischer, and Thomas Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” in Proc. of MICCAI, Munich, Germany, Oct. 2015, pp. 234–241.
[4] Kaiming He, Georgia Gkioxari, Piotr Doll´ar, and Ross Girshick, “Mask R-CNN,” in Proc. of ICCV, Venice, Italy, Oct. 2017, pp. 2980– 2988.
[5] Jasmin Breitenstein, Jan-Aike Term¨ohlen, Daniel Lipinski, and Tim Fingscheidt, “Systematization of Corner Cases for Visual Perception in Automated Driving,” in Proc. of IV, Las Vegas, NV, USA, Oct. 2020, pp. 986–993.
[6] P. Pinggera, S. Ramos, S. Gehrig, U. Franke, C. Rother, and R. Mester, “Lost and Found: Detecting Small Road Hazards for Self-Driving Vehicles,” in Proc. of IROS, Daejeon, South Korea, Oct. 2016, pp. 1099–1106.
[7] S. Ramos, S. Gehring, P. Pinggera, U. Franke, and C. Rother, “Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling,” in Proc. of IV, Redondo Beach, CA, USA, June 2017, pp. 1025–1032.
[8] H. Blum, P.-E. Sarlin, J. Nieto, R. Siegwart, and C. Cadena, “Fishyscapes: A Benchmark for Safe Semantic Segmentation in Autonomous Driving,” in Proc. of ICCV - Workshops, Seoul, South Korea, Oct. 2019, pp. 1–10.
[9] J.-A. Bolte, A. B¨ar, D. Lipinski, and T. Fingscheidt, “Towards Corner Case Detection for Autonomous Driving,” in Proc. of IV, Paris, France, June 2019, pp. 438–445.
[10] F. Lopez, M. Saez, Y. Shao, E. C. Balta, J. Moyne, Z. M. Mao, K. Barton, and D. Tilbury, “Categorization of Anomalies in Smart Manufacturing Systems to Support the Selection of Detection Mechanisms,” IEEE Robotics and Automation Letters, vol. 2, no. 4, pp. 1885–1892, Oct. 2017.
[11] M. Hasan, J. Choi, J. Neumann, A. K. Roy-Chowdhury, and L. S. Davis, “Learning Temporal Regularity in Video Sequences,” in Proc. of CVPR, Las Vegas, NV, USA, June 2016, pp. 733–742.
[12] Y. Xia, X. Cao, F. Wen, G. Hua, and J. Sun, “Learning Discriminative Reconstructions for Unsupervised Outlier Removal,” in Proc. of ICCV, Santiago, Chile, Dec. 2015, pp. 1511–1519.
[13] D. Gong, L. Liu, Vuong Le, B. Saha, M. R. Mansour, S. Venkatesh, and A. van den Hengel, “Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection,” in Proc. of ICCV, Seoul, Korea, Oct. 2019, pp. 1705– 1714.
[14] P. Oza and V. M. Patel, “C2AE: Class Conditioned Auto-Encoder for Open-set Recognition,” in Proc. of CVPR, Long Beach, CA, USA, June 2019, pp. 2307–2316.
[15] W. Liu, W. Luo, D. Lian, and S. Gao, “Future Frame Prediction for Anomaly Detection – A New Baseline,” in Proc. of CVPR, Salt Lake City, UT, USA, June 2018, pp. 6536–6545.
[16] Kimin Lee, Honglak Lee, Kibok Lee, and Jinwoo Shin, “Training Confidence-Calibrated Classifiers for Detecting Out-of-Distribution Samples,” in Proc. of ICLR, Vancouver, BC, Canada, Apr. 2018, pp. 1–16.
[17] M. Hein, M. Andriushchenko, and J. Bitterwolf, “Why ReLU Networks Yield High-Confidence Predictions Far Away From The Training Data And How To Mitigate The Problem,” in Proc. of CVPR, Long Beach, CA, USA, June 2019, pp. 41–50.
[18] K. Lis, K. Nakka, P. Fua, and M. Salzmann, “Detecting the Unexpected via Image Resynthesis,” in Proc. of ICCV, Seoul, Korea, Oct. 2019, pp. 2152–2161.
[19] R. Chalapathy, E. Toth, and S. Chawla, “Group Anomaly Detection Using Deep Generative Models,” in Proc. of ECML PKDD, Dublin, Ireland, Sept. 2019, pp. 173–189.
[20] J. Shen, Y. Qu, W. Zhang, and Y. Yu, “Wasserstein Distance Guided Representation Learning for Domain Adaptation,” in Proc. of AAAI, New Orleans, LO, USA, Feb. 2018, pp. 4058–4065.
[21] Jonas L¨ohdefink, Justin Fehrling, Marvin Klingner, Fabian H¨uger, Peter Schlicht, Nico M. Schmidt, and Tim Fingscheidt, “Self-Supervised Domain Mismatch Estimation for Autonomous Perception,” in Proc.
of CVPR - Workshops, Seattle, WA, USA, June 2020, pp. 1–10.
[22] Yossi Rubner, Carlo Tomasi, and Leonidas J. Guibas, “The Earth Mover’s Distance as a Metric for Image Retrieval,” International Journal of Computer Vision, vol. 40, no. 2, pp. 99–121, Nov. 2000.
[23] Dan Hendrycks and Kevin Gimpel, “A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks,” in Proc. of ICLR, Toulon, France, Apr. 2017, pp. 1–12.
[24] Dan Hendrycks and Thomas Dietterich, “Benchmarking Neural Network Robustness to Common Corruptions and Perturbations,” in Proc. of ICLR, New Orleans, LA, USA, May 2019, pp. 1–15.
[25] S. Liang, Y. Li, and R. Srikant, “Enhancing the Reliability of Out-Of-Distribution Image Detection in Neural Networks,” in Proc. of ICLR, Vancouver, Canada, Apr. 2018, pp. 1–27.
[26] Yu Shu, Yemin Shi, Yaowei Wang, Yixiong Zou, Qingsheng Yuan, and Yonghong Tian, “ODN: Open Deep Network for Open-Set Action Recognition,” in Proc. of ICME, San Diego, CA, USA, July 2018, pp. 1–6.
[27] Terrance DeVries and Graham W. Taylor, “Learning Confidence for Out-of-Distribution Detection in Neural Networks,” arXiv preprint arXiv:1802.04865, Feb. 2018.
[28] Chen Xing, Sercan Arik, Zizhao Zhang, and Tomas Pfister, “Distance-Based Learning from Errors for Confidence Calibration,” in Proc. Of ICLR, Addis Ababa, Ethopia, Apr. 2020, pp. 1–12.
[29] A. Bendale and T. Boult, “Towards Open Set Deep Networks,” in Proc. of CVPR, Las Vegas, NV, USA, June 2016, pp. 1563–1572.
[30] I. Golan and R. El-Yaniv, “Deep Anomaly Detection Using Geometric Transformations,” in Proc. of NIPS, Montr´eal, Canada, Dec. 2018, pp. 9781–9791.
[31] A. Kendall and Y. Gal, “What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?,” in Proc. of NIPS, Long Beach, CA, USA, Dec. 2017, pp. 5574–5584.
[32] Y. Gal and Z. Ghahramani, “Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning,” in Proc. of ICML, New York, NY, USA, June 2016, pp. 1050–1059.
[33] B. Lakshminarayanan, A. Pritzel, and C. Blundell, “Simple and Scalable Predictive Uncertainty Estimation Using Deep Ensembles,” in Proc. of NIPS, Long Beach, CA, USA, Dec. 2017, pp. 6402–6413.
[34] Joost van Amersfoort, Lewis Smith, Yee Whye Teh, and Yarin Gal, “Simple and Scalable Epistemic Uncertainty Estimation Using a Single Deep Deterministic Neural Network,” arXiv preprint arXiv:2003.02037, Mar. 2020.
[35] A. Kendall, V. Badrinarayanan, and R. Cipolla, “Bayesian SegNet: Model Uncertainty in Deep Convolutional Encoder-Decoder Architectures for Scene Understanding,” arXiv, , no. 1511.02680, Nov. 2015.
[36] T. Pham, V. B. G. Kumar, T.-T. Do, G. Carneiro, and I. Reid, “Bayesian Semantic Instance Segmentation in Open Set World,” in Proc. of ECCV, Munich, Germany, Sept. 2018, pp. 3–18.
[37] P.-Y. Huang, W.-T. Hsu, C.-Y. Chiu, T.-F. Wu, and M. Sun, “Efficient Uncertainty Estimation for Semantic Segmentation in Videos,” in Proc. of ECCV, M¨unchen, Germany, Sept. 2018, pp. 536–552.
[38] L. Ruff, R. Vandermeulen, N. Goernitz, L. Deecke, S. A. Siddiqui, A. Binder, E. M¨uller, and M. Kloft, “Deep One-Class Classification,” in Proc. of ICML, Stockholm Sweden, July 2018, pp. 4393–4402.
[39] B. Barz, E. Rodner, Y. G. Garcia, and J. Denzler, “Detecting Regions of Maximal Divergence for Spatio-Temporal Anomaly Detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 41, no. 5, pp. 1088–1101, May 2019.
[40] R. Yoshihashi, W. Shao, R. Kawakami, S. You, M. Iida, and T. Naemura, “Classification-Reconstruction Learning for Open-Set Recognition,” in Proc. of CVPR, Long Beach, CA, USA, June 2019, pp. 4016–4025.
[41] I. Jatzkowski, D. Wilke, and M. Maurer, “A Deep-Learning Approach for the Detection of Overexposure in Automotive Camera Images,” in Proc. of ITSC, Maui, HI, USA, Nov. 2018, pp. 2030–2035.
[42] Yuliang Zou, Zelun Luo, and Jia-Bin Huang, “DF-Net: Unsupervised Joint Learning of Depth and Flow Using Cross-Task Consistency,” in Proc. of ECCV, Munich, Germany, Sept. 2018, pp. 36–53.
[43] Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff, and Hartwig Adam, “Encoder-Decoder With Atrous Separable Convolution for Semantic Image Segmentation,” in Proc. of ECCV, Munich, Germany, Sept. 2018, pp. 801–818.
[44] Jan-Aike Bolte, Markus Kamp, Antonia Breuer, Silviu Homoceanu, Peter Schlicht, Fabian H¨uger, Daniel Lipinski, and Tim Fingscheidt, “Unsupervised Domain Adaptation to Improve Image Segmentation Quality Both in the Source and Target Domain,” in Proc. of CVPR - Workshops, Long Beach, CA, USA, June 2019, pp. 1404–1413.
[45] W. J. Scheirer, L. P. Jain, and T. E. Boult, “Probability Models for Open Set Recognition,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, no. 11, pp. 2317–2324, Nov. 2014.