摘要
扩散概率模型（Diffusion Probabilistic Model， DPM）近年来在计算机视觉领域获得了广泛的应用，最近的研究进一步揭示了DPM在医学图像分析领域的效用，医学图像分割模型在各种任务中表现出的良好性能强调了这一点。尽管这些模型最初是由UNet架构支撑的，但存在通过集成视觉Transformer机制来提高其性能的潜在途径。然而，简单地组合这两个模型会导致性能不佳。为了有效地将这两种前沿技术集成到医学图像分割中，本文提出了一种新的基于transformer的扩散框架，称为medsegdiv - v2。在具有不同图像模态的20个医学图像分割任务上验证了其有效性。通过综合评估，所提出方法证明了比之前最先进的（SOTA）方法的优越性。
概述
拟解决的问题：MedSegDiff-V2旨在解决医学图像分割中的挑战，特别是在处理具有模糊边界的器官或病变时，如何提高分割的一致性和准确性。此外，该研究还旨在通过整合Transformer机制来增强基于UNet架构的扩散概率模型（DPM）的性能。
创新之处：
- 首次将变换器集成到基于扩散的模型中：这是首次将Transformer机制集成到用于通用医学图像分割的基于扩散的模型中。
- 锚定条件与不确定空间注意力（U-SA）：提出了锚定条件和U-SA机制来减少扩散过程中的方差，并提供更多的灵活性以进一步校准预测。
- 语义条件与谱空间Transformer（SS-Former）：提出了语义条件和SS-Former来建模分割噪声和语义特征的交互。
- 在多个图像模态的20个器官分割任务中实现SOTA性能。
方法
MedSegDiff-V2的整体流程如图1所示。为了介绍该过程，考虑扩散过程的单步t。噪声掩码xt首先输入到UNet中，称为扩散模型。扩散模型由通过另一个标准UNet从原始图像中提取的分割特征为条件，称为条件模型。将两种不同的条件方式应用于扩散模型：锚条件和语义条件。按照输入的流动，首先将锚条件施加在扩散模型的编码器上。它将锚分割特征（即条件模型的解码分割特征）集成到扩散模型的编码特征中。这允许扩散模型由粗略但静态的参考初始化，这有助于减少扩散方差。然后将语义条件施加在扩散模型的嵌入上，将条件模型的语义分割嵌入集成到扩散模型的嵌入中。这种条件集成由 SS-Former 实现，它弥合了噪声和语义嵌入之间的差距，并以 Transformer 的全局和动态性质的优势抽象出更强的表示。
MedSegDiff-V2 使用标准噪声预测损失 和监督条件模型的锚点损失
进行训练。
是软骰子损失
和交叉熵损失
的组合。具体来说，总损失函数表示为：
其中 t ≡ 0 (mod α) 通过超参数 α 控制条件模型的监督时间，交叉熵损失由超参数 β 加权，分别设置为 5 和 10。
U-SA 锚定条件：通过将条件模型解码的分割特征集成到扩散模型编码器特征中，为扩散模型提供初始参考，减少扩散方差。
语义条件：通过SS-Former将条件模型的语义分割嵌入集成到扩散模型的嵌入中，弥合噪声和语义嵌入之间的差距。
谱空间变换器（SS-Former）：SS-Former是一个新的Transformer机制，用于在频域中学习条件语义特征和扩散噪声特征的交互。它使用神经带通滤波器（NBP-Filter）对齐它们到统一的频率范围。
- 傅里叶空间转换：将条件模型的深层特征嵌入c和扩散模型的特征嵌入e转换到傅里叶空间，表示为F(c0)和F(e)。
- 亲和力权重图计算： M=(F(c0)Wq)(F(e)Wk)T，其中，Wq和Wk是傅里叶空间中的可学习查询和键权重。
- NBP-Filter对齐：应用NBP-Filter对频率表示进行对齐，并通过逆快速傅里叶变换（IFFT）将过滤后的亲和力图M′M′转换回欧几里得空间，用于条件特征。
为什么要使用频率：频率域提供了一种自然的方式来表达图像的多尺度信息。在医学图像分割中，不同尺度的特征（如边缘、纹理和形状）对于准确分割至关重要。通过将特征映射到频率域，模型可以同时访问不同尺度的信息，这有助于捕捉到更丰富的图像内容。
NBP-Filter对齐：
- 应用NBP-Filter来对齐特征表示的频率，使得模型可以更有效地学习噪声和语义特征之间的交互。NBP-Filter学习通过特定频谱范围，同时抑制其他频谱。
- 为了控制连续的频率范围，NBP-Filter使用一个神经网络来学习从特征图位置到频率幅度的平滑投影。