SegNetr: Rethinking the local-global interactions and skip connections in U-shaped networks

前导：

• 集中于设计复杂的自注意力模块，以弥补基于卷积操作捕获长距离上下文依赖的不足，从而增加了网络的参数和计算复杂性；
• 过于简单地融合编码器和解码器的特征，忽略了它们之间空间位置的关联性。
    论文引入了一种新颖的SegNetr块，可以在任意阶段动态地执行局部-全局交互，并且具有线性复杂度。同时，论文设计了一种通用的信息保留跳跃连接，用于保留编码器特征的空间位置信息，并与解码器特征进行准确融合。
  
    SegNetr 是一个典型的分层 U 型网络，其中包括 SegNetr 块和 IRSC 两个重要组件。为了使网络更轻量化，作者基于 MBConv 作为基础卷积构建块。SegNetr 块在编码器和解码器阶段实现了动态的局部-全局交互。使用补丁合并将分辨率降低两倍，同时不丢失原始图像信息。此外，IRSC 则用于融合编码器和解码器的特征，减少随着深度增加而网络丢失的细节信息。

  SegNetr 块，这是 SegNetr 整个网络的核心组件，通过局部-全局交互实现特征的动态处理。它使用 MBConv 作为基础卷积模块，并引入局部和全局分支来实现交互。

  此处，局部分支时通过计算非重叠小补丁的注意力矩阵，实现局部交互。而全局分支通过对空间上非连续补丁的聚合和位移操作，实现全局交互。局部和全局分支最终通过加权求和进行融合。这种设计不仅减少了计算复杂度，还更好地捕捉了图像中的局部和全局信息。

  信息保留跳跃连接通过 Patch Merging 和 Patch Reverse ，实现了编码器和解码器特征的融合。其中，Patch Merging 的具体操作时将输入特征图的分辨率降低，同时扩展通道维度，以保留更多高分辨率的细节信息。而 Patch Reverse 用于恢复编码器的空间分辨率，并与解码器的上采样特征进行融合。这样可以更好地恢复特征图的细节和位置信息，提高分割的准确性。

EGE-UNet: an Efficient Group Enhanced UNet for skin lesion segmentation

上海交大 2023 MICCAI

  基于 U-Net 进行魔改，用于解决医学图像（尤其是皮肤病变）分割中面临的问题。由于它是针对移动健康应用开发的，解决了当前许多模型所面临的高参数和计算负载问题。
EGE-UNet融合了两个主要模块：

• Group