Exploring Weakly Supervised Semantic Segmentation Ensembles for Medical Imaging Systems
摘要
本文方法
首先，在目标数据集上训练分类器模型（resnet）
其次，使用Grad-CAM为不同的分类器创建第一个掩码。
接下来，测试集成方法来组合两个或多个预测集。
最终，选择提供最佳可能结果的集合版本，然后进行校准步骤，以确定最高检测分数的最佳阈值集合。
分类器模型实例的训练与探索
该框架旨在创建不同CAM方法的集合，因为它们的集合抵消了它们的缺点，因此比它们的单一部分产生更准确的预测。最好的集合是由高质量的cam生成的，而高质量的cam是由高质量的分类器生成的，我们必须研究目标数据集的分类器。
本文的探索内容
我们没有努力测试更复杂的网络，而是从其他方法(如自我监督的Swav)中获得了一些灵感。Swav尝试在没有指导的情况下学习区分图片，而不是使用注释。为此，Swav使用对比损失函数来比较图像对。损失函数的目标是将特征空间中不同的图像推开，同时将特征空间中同一图像的转换或视图中的图像拉到一起。
本文作者对Swav方法的兴趣依赖于两个原因:首先，对医疗数据集使用预训练的无监督模型可能会提高Grad-CAM结果的质量。这可能是因为无监督模型更倾向于区分形状，而不仅仅是猜测正确的类别。其次，许多最先进的方法为分类损失增加了额外的正则化。那些正则化，例如SEAM中的仿射变换，与Swav的对比学习损失在很大程度上是相同的。因此，我们假设无监督训练模型的激活可以更完整地识别对象。本文已经评估了多个训练的Swav模型，但观察到与传统训练的分类器相比，它们的对比损失方法并没有产生更高质量的CAMs。
评估训练模型的grad - cam
在创建候选分类器之后，我们可以专注于生成CAM预测。为此，我们将应用grad - cam。梯度加权类激活映射(Grad-CAM)将网络和图像作为输入，并返回一个粗略的掩码。
然而，结果表明，如果图像中包含多个同一类的出现，Grad-CAM就不能正确地定位图像中的对象。此外，还发现由于不考虑偏导数的平均值，定位往往不对应于整个物体，而只对应于部分物体。因此，引入了grad - cam++ ，它通过使用更复杂的重要性分数公式来解决这些问题。作为进一步优化，引入了SmoothGrad-CAM++。
然而，这些改进旨在提高被检测对象边界的清晰度，并缓解原始方法在同一图像中有多个同类对象的问题。但是，这些问题在观察到的医学数据集中并没有发生。BraTS和DECATHLON数据集中的所有图像都不包含目标对象的多个实例。此外，这些目标物体通常是圆形的，即使对专家来说，其边界也是模糊的。尽管如此，我们也测试了smoothgrad - cam++，因为它是这种方法的最新版本。
对于CAM生成，将通过候选Grad-CAM运行我们训练过的候选模型和图像，为所有图像创建MASK
集成方法
收集了候选模型和grad - cam的mask，我们的目标是将它们结合起来以获得更高质量的结果。
首先，我们有“or”集合，它总结了候选区的预测。当两个mask都具有较高的真阳性率时，这种方法最有效，在组合mask之间产生最大的可能激活区域。第二种是“and”方法，将候选区的预测相乘。与“or”方法相比，“and”方法使两个掩模的可能检测区域最小化。当两个模型的真阴率都很高时，这种方法效果最好
“min”和“max”方法分别只采用最小或最大正分类像素的MASK
通过这种方式，解决了模型倾向于预测目标对象的大小过大或太小的问题，而一个候选对象的完整预测仍然比所有候选对象的“and”或“or”更好。
由于Grad-CAM方法以从0到1的形式返回预测，我们可以确定将像素视为正分类或负分类的值的阈值。这个超参数让我们对任何给定预测的假阳性和假阴性率都有很大的余地。使用非常高的阈值会大大减少被分类为阳性的区域，从而导致很高的假阴性率。反之亦然，使用非常低的阈值会极大地增加被分类为阳性的区域，从而导致高假阳性率。最优阈值因候选模型而异。因此，我们决定测试所选择的集成方法，使用从0到1的所有阈值组合，步长为0.1。我们在训练集上进行这些测试，以确定我们将在验证集上使用的阈值。我们的实验表明，训练集的最优阈值组合也是验证集的最优组合之一。
结果展示
