Medical Image Segmentation using Squeeze-and-Expansion Transformers
医用图像的压缩与扩展transformer分割
Published: 2021 May
论文：https://arxiv.org/abs/2105.09511
代码：https://github.com/askerlee/segtran
一、基本介绍
1.问题动机
医学图像分割是计算机辅助诊断的重要内容。好的分割要求模型同时看到大图和细部，即在保持高空间分辨率的同时学习包含大背景的图像特征。为了达到这一目标，目前应用最广泛的方法是U-Net和变分法，对多尺度特征进行提取和融合。然而，融合特征仍然具有小的有效接受域，集中在局部图像线索上，限制了其性能。在这项工作中，作者提出了Segtran，一种基于transformer的替代分割框架，即使在高特征分辨率下也有无限的有效接受域。Segtran的核心是一种新颖的压缩-扩展式transformer:压缩的注意块使transformer的自我注意正式化，而扩展块则学习多种表现形式。此外，我们提出了一种新的位置编码方案，对图像施加连续感应偏置。实验进行了二维和三维医学图像分割任务:眼底图像视盘/杯分割(REFUGE’20挑战)，结肠镜图像息肉分割，MRI扫描图像脑肿瘤分割(BraTS’19挑战)。与现有的有代表性的方法相比，Segtran始终能获得最高的分割精度，并表现出良好的跨域泛化能力。
二、网络结构
**Segtran架构。**它利用CNN主干提取视觉特征，将其与像素坐标的位置编码相结合，并将其平坦化为一系列局部特征向量。特点是通过一些压缩和扩展的transformer层的背景。为了提高空间分辨率，输入FPN和输出FPN对变压器前后的特征进行采样。
压缩-扩展Transformer：
压缩注意力块
扩展注意力块
可学习的正弦位置编码
Segtran架构：
CNN骨干
Transformer层
特征金字塔和分割头部
【具体结构参考论文分析】
四、实验
眼底图像中的视盘/视杯分割
息肉:结肠镜图像中的息肉分割
BraTS2019: MRI图像中的肿瘤分割
消融实验：
所有设置都是标准设置的变体，标准设置使用了三层压缩-扩展transformer，四种模式(Nm= 4)，以及可学习的正弦位置编码。ResNet-101和EfficientNet-B4都被评估以减少选择主干网的随机影响。只报告了主要的dice分数，因为分割任务相对简单，在大多数设置中dice分数只变化±0.005。
（1） 压缩和扩展transformer与Multi-Head Transformer：
从上表可以看出，压缩扩展式transformer的性能优于传统的多头transformer。压缩式注意块和扩展式注意块均有助于提高性能
（2)可学习正弦位置编码与两种方案的比较，以及不使用PE。
表2比较了可学习正弦位置编码与两种主流PE方案和无PE方案的比较。令人惊讶的是，在没有PE的情况下，Segtran的表现只下降了1~2%。一种可能的解释是，transformer可能设法从CNN骨干特征中提取位置信息
（3）Number of layers
从表3可以看出，随着transformer层数从1层增加到3层，性能逐渐提高。然而，再增加一层会导致性能下降，这表明可能存在过拟合。
计算效率：
表7给出了一些代表性方法的参数个数和FLOPs。一般来说，基于transformer的方法比传统方法消耗更多的计算量和GPU内存。我们的分析显示，Segtran的参数/FLOPs的数量主要由输出FPN决定，在不同的骨干之间变化很大。由于我们采用的自下而上fpn有点类似于EfficientDet ，因此当使用EfficientNets时，模型尺寸/FLOPs是最优的。以ResNets作为骨干，Segtran具有更高的模型大小/FLOPs，因此不建议在效率敏感的场景中选择这种骨干。
总结：
在这项工作中，作者提出了Segtran，一个基于transformer的医学图像分割框架。它利用了transformer和上下文特性的无限感受域。此外，该transformer是一个改进的压缩和扩展transformer，更适合图像任务。Segtran既能看到全局情况又能看到细节，因此具有良好的分割性能。在两个2D和一个3D医学图像分割任务中，Segtran始终优于现有方法，并能很好地推广到新的领域。