机器学习笔记 - 使用 AugMix 增强图像分类模型的鲁棒性

一、简述

        图像分类模型能够预测与训练数据具有相同分布的数据。然而，在现实场景中，输入数据可能会发生变化。例如，当使用不同的相机进行推理时，照明条件、对比度、颜色失真等可能与训练集不同，并显着影响模型的性能。为了应对这一挑战，Hendrycks 等人提出了 AugMix 算法。可以应用于任何图像分类模型，以提高其鲁棒性和不确定性估计。

        AugMix 是一种数据增强技术，可生成每个训练图像的增强变化。当与一致性损失相结合时，它会鼓励模型对同一图像的所有版本做出一致的预测。尽管使用这些增强的数据版本训练模型需要更长的时间，但生成的模型变得更加稳定、一致，并且能够抵抗各种输入。

        训练图像的增强版本是通过应用由一到三个随机选择的增强操作（例如平移、剪切和对比度）组成的三个平行链来生成的，具有随机确定的强度。然后，将这些链与不同权重的原始图像组合起来，生成增强图像的单一版本。增强版本包含多个随机源，包括操作的选择、这些操作的强度、增强链的长度和混合权重。

         对于每个训练图像，AugMix 生成两个保留图像语义内容的增强版本（augmix1 和 augmix2）。

        您可以在下图中查看图像及其增强版本的示例。