该论文是18年发表的，提出训练一个参数函数对新输入的图像对进行直接配准，使用的是CNN网络，外加空间变换层和形变场的平滑约束。所提出的方法为无监督的，不需要标准配准图像和解剖标签，与当时的3D图像配准性能相当，运算速度快。

1.简介

可变配准是建立两幅图像的密集非线性对应关系，许多思路通过密集计算使形变场变得平滑，代价是耗时，本论文使用一个全局函数优化来代替每个测试图像对的传统配准算法（迭代计算）。
该方法的创新点：

无监督
使用参数共享的CNN函数，通过对函数评估实现配准
通过对各种成本函数进行优化，以适用于各种任务
该方法在良好性能的基础上还减少了一个数量级的运算时间。

2.背景

可变形配准策略将全局对齐的初始仿射变换(刚性变换)与具有较高自由度的可变形变换（通常比较耗时）分离开来，该论文着重研究可变形配准。可变形配准可以实现跨模态（不同检查影像）和跨患者的结构比较和分析，这对于疾病的诊断具有十分重要的意义。传统的迭代优化方法使基于能量函数的,优化问题记为：
$\hat{\phi }=arg_{\phi}min\pounds (F,M,\phi)$
其中， $\pounds(F,M,\phi)=\pounds_{sim}(F,M(\phi))+\lambda\pounds_{smooth}(\phi)$
$M(\phi)$ 是变形后的图像， $\pounds_{sim}(F,M(\phi))$ 是相似性评估， $\lambda$ 为正则化参数， $\pounds_{smooth}(\phi)$ 对形变场施加的光滑约束。

$\phi$ 是位移矢量场。在微分同胚法中 $\phi$ 代表速度矢量场的积分，这样可以保持 $\phi$ 的拓扑结构，并增强可逆性。
常用的相似性评估方法有均方根误差（mean square error，MSE）、互信息（mutual information，MI）、互相关（cross-correlation，CC）后两者常用于不同强度和对比度的影像配准中。
常用的光滑约束是 $\phi$ 的空间梯度上的线性算子。

3.相关工作

非线性基础：微分同胚的拓扑结构的保持；
学习基础：无监督学习不需要标准扭曲图或标签，并且该框架适用于多维度，对各种成本函数优化，适用于各种任务；
二维图像对齐：光流量估计类似二维图像的三位配准问题，光流量算法返回一个描述2D图像对的小偏移密集位移向量场。传统的光流量法使用变分方法解决优化问题，它的扩展（基于特征的匹配和最近邻域）可以更好地处理大位移或外观上的显著变化。有研究使用主成分分析学习自然图像中的低维基础；还有学者使用CNN学习一个参数函数研究光流量；但是这些都需要金标准图像。空间变换层神经元可以在无标签的情况下对齐二维图像，本文将它扩展到三维。

4.研究方法

F,M是3D图像并且是单通道的灰度数据，预处理步骤已经对二者进行刚性配准，只需再进行非线性配准。参数函数为 $g_\theta(F,M)=\phi$ , $\phi$ 是形变场， $\theta$ 是可学习的参数，对与每个 $\mathcal{p}∈Ω，\phi(\mathcal{p})$ 是M经过形变后的图像上的位置， $F(\mathcal{p})$ 与 $M(\phi(\mathcal{p}))$ 表示同一个解剖点（结构）。本论文的方法过程，F,M是预处理后的图像，形变场 $\phi$ 是使用光流量方法显示的。将 $M(\mathcal{p})$ 扭曲为 $M(\phi(\mathcal{p}))$ ，并通过相似性评估更新参数 $\theta$ 。使用随机梯度下降法寻求最优参数 $\hat\theta$ 的解。测试时通过对未学习过的图像对的参数函数评估得到形变场。
在这里插入图片描述

4.1 VoexlMorph网络框架

使用基于U-Net的网络框架，生成 $\phi$ 。如下图为综合正确率和计算时间的两种变体形式：
在这里插入图片描述
二者都将F,M堆叠作为一个两通道的输入，输入图像张量大小为 $160\times192\times224\times2$ 。在每一次编码解码后都会使用LeakyReLU激活函数处理。卷积层捕获输入图像对应的层次特征，在编码阶段每层都减小一半大小直到最小层只有原图像的1/16。
最小层的卷积核的接受场应该至少与M和F中相应体素之间的最大期望位移一样大我理解这句话的意思是最后一次编码得到的图像（为原图像1/16的图像）应该体现出两幅图像对应结构的偏移关系，此时该接受场为最大可允许的偏移场。这一点还有些不理解，欢迎大家批评指正。
经过编码后通过上采样层（扩充图像尺寸）和跳跃连接（补充图像底层信息，防止在编码时丢失一些细节信息），最后输出 $\phi$ 的大小为 $160\times192\times224\times3$ .
作者之所以提出两种变体形式，是为了探究如何在更精细解码层的基础上，得到不那么昂贵的计算代价。

4.2 空间变换函数

为了使用标准的梯度方法，构造了一个基于空间变换器的网络微调 $M(\phi)$ 。由F中的体素 $\mathcal{p}$ 计算M中对应位置的体素值 $\phi(\mathcal{p})$ 。采用下式进行八邻域插值：
$M(\phi(\mathcal{p})) = \sum_{q\in\mathcal{Z}(\phi(\mathcal{p}))}M(q)\prod_{d\in\{x,y,z\}}(1-|\phi_d(\mathcal{p})-q_d|)$
该操作处处可微，于是可以反向传播误差进行修改。

4.3 损失函数

$\pounds(F,M,\phi)=\pounds_{sim}(F,M(\phi))+\lambda\pounds_{smooth}(\phi)$
损失函数由两部分组成， $\pounds_{sim}$ 定义为F与 $M(\phi)$ 的负局部互相关（CC，对于图像的强度变化具有较强的鲁棒性）。损失函数具体定义如下：
$CC(F,M(\phi))=\sum_{p\in\Omega}\frac{\big(\sum_{p_i}(F(\mathcal{p}_i)-F\hat(\mathcal{p}))(M(\phi(\mathcal{p}_i))-M\hat(\phi(\mathcal{p}))\big)^2}{\big(\sum_{p_i}(F(\mathcal{p}_i)-F\hat(\mathcal{p}))\big)\big(\sum_{p_i}(M(\phi(\mathcal{p}_i))-M\hat(\phi(\mathcal{p})))\big)}$
其中， $F\hat(\mathcal{p})$ 与 $M\hat(\phi(\mathcal{p}))$ 表示局部图像减去局部均值后的图像，计算 $n^3$ 大小的体素，本实验取n=9，其中 $\mathcal{p}_i$ 在p周围 $n^3$ 的体素中迭代。CC值越高表示图像配准效果越好。 $\pounds_{sim}(F,M(\phi))=-CC(F,M(\phi(\mathcal{p})))$ ，最小化相似性损失会使配准效果更好，但是也会产生不连续的形变场（及变形场有突变不光滑），因此使用扩散正则化器（diffusion regularizer）进行平滑形变场，计算公式如下： $\pounds{smooth}(\phi)=\sum_{\mathcal{p}\in\Omega}||\bigtriangledown\phi(\mathcal{p})||^2$
故，总的损失函数为 $\pounds(F,M,\phi)=-CC(F,M(\phi(\mathcal{p})))+\lambda\sum_{\mathcal{p}\in\Omega}||\bigtriangledown\phi(\mathcal{p})||^2$
利用相邻体素的差异近似空间梯度，其中 $\lambda$ 表示正则化参数。

5.实验

5.1 数据集

获取多个公开数据库的脑部MRI图像,不同数据集受试者的年龄，健康状况都是不同的，将图像重采样到·256×256×256大小的网格中，每格都是1mm的各向同性体素。采用仿射空间归一化、使用FreeSurfer提取大脑图像（去除多余黑色空间，进行解剖分割）、将图像文件修改为指定大小。训练集：验证集：测试集为7329：250：250。本实验的F图像由外部数据集计算得到的atlas图像作为F，随机选取数据集内的图像作为M，每次选一个M与F配对。

5.2 DICE系数

使用DICE系数评估29个解剖结构配准的好坏，k代表不同的结构， $S_{F}^{\mathcal{k}}与S_{M(\phi)}^{\mathcal{k}}$ 表示F与M( $\phi$ )中对应的结构，最后结果取29个结构DICE系数的平均值。DICE结果为1时表示完全对齐。
$DICE(S_{M(\phi)}^{\mathcal{k}},S_{F}^{\mathcal{k}})=2\ast\frac{S_{M(\phi)}^{\mathcal{k}} \cap S_{F}^{\mathcal{k}}}{|S_{M(\phi)}^{\mathcal{k}}|+|S_{F}^{\mathcal{k}}|}$

5.3 细节信息

作者使用ANTs软件包的平滑参数实验得到的并不是最优解，于是跨多个数据集获取改进的参数，并在实验中使用获得了较好的结果。使用ADAM优化器，学习率为1× $10^{-4}$ ，使用不同正则化参数 $\lambda$ 的独立网络进行实验直到收敛，在验证集上优化DICE系数网络，在测试集上获取最终结果

5.4 实验结果

5.4.1 准确率和运行时间

在这里插入图片描述
上图DICE系数为各解剖结构DICE系数的均值，下图为每个结构单独的DICE系数。

扫描二维码关注公众号，回复： 14827036 查看本文章

本实验的对照试验组为ANTs软件包，对比了DICE系数（括号内的为CC值）与在CPU和GPU上的运行时间，由表可知DICE系数与对照组相仿，运行时间大大缩减。

5.4.2 在子数据集上进行训练测试

在这里插入图片描述

对比实验结果可知，在子数据集上进行训练和验证得到的效果好。（本人认为这是由于数据集间的差异引起的，当特定训练一个数据集时，得到的效果肯定比综合的要好）

5.4.3 正则化分析

在这里插入图片描述
对于验证集的验证实验使用不同的 $\lambda$ 值进行测试，如上图（a），显示在较大的范围内由较小的变化，说明网络的鲁棒性比较好，而当没有正则化项时（ $\lambda=0$ ）,DICE系数也比只使用仿射变换（刚性变换）的效果好，作者认为应该是优化函数内包含隐式正则化参数。由（b）可知，当 $\lambda$ 较小时行形变场的边界和结构轮廓比较清晰，说明变化比较明显。

6.总结讨论

虽然我们的方法学习注册所需数据的一般特征（地图集atlas），但可以将这些参数适应特定的亚种群；
对于子训练集的实验可知，模型学习的参数是特定于训练图像的；（有的训练图像可能有或没有某一特征）
就训练时间而言大大缩减了训练所需要的时常；
并且可根据训练层数和数据集大小等相关内容，进行探索以权衡准确率和运算时间；
虽然配准结果产生了与ANTs相当的水平，但是ANTs产生了微分同胚（良好的可逆性和保持拓扑结构的特性）的配准，本设计尚未包含；

学习笔记，侵权告删

【学习笔记VoxelMorph系列文章1】：《An Unsupervised Learning Model for Deformable Medical Image Registration》