磁共振图像(MRI)重建算法最新的一些进展

自己目前的研究方向是MRI图像重建，经历了从传统的CS-MRI重建算法到现在深度学习重建MRI，下面的文章是自己这一个阶段学习的简单的总结。由于自己文采有限，很多地方表述可能欠妥，另外技术在不断革新，所以自己看到的文章可能不是最新的，欢迎批评指正。

1. MRI重建：

1.1 问题描述

MRI图像重建可以用方程进行近似：

\begin{matrix} (1) & F x + ϵ = y \end{matrix}

$\begin{equation} Fx+\epsilon = y \end{equation}$
其中:

x \in C^{N}

$x\in \mathbb{C}^{N}$ 表示想要重建的图像，

y \in C^{M}

$y\in \mathbb{C}^{M}$ 表示观测的图像，

ϵ \in C^{M}

$\epsilon \in \mathbb{C}^{M}$ 表示噪声图像。

F \in C^{M \times N}

$F \in \mathbb{C}^{M \times N}$ 是我们想要学习的矩阵，表示

F : C^{N} \to C^{M}

$F: \mathbb{C}^{N}\rightarrow \mathbb{C}^{M}$ 一种映射关系。因为

M << N

$M< < N$ 所以上述公式求解F是一个病态问题，所以上面方面是不可以直接求解的。

1.2 基于CS-MRI的重建算法

1.2.1 基本思想

公式表达:

\begin{matrix} (2) & \underset{x}{m i n} \frac{1}{2} {‖ F_{u} X - y ‖}_{2}^{2} + λ R (x) \end{matrix}

$\begin{equation} \underset{x}{min} \frac{1}{2} \left \| F_{u}X-y \right \|_{2}^{2} + \lambda R\left ( x \right ) \end{equation}$
其中

\underset{x}{m i n} \frac{1}{2} {‖ F_{u} X - y ‖}_{2}^{2}

$\underset{x}{min} \frac{1}{2} \left \| F_{u}X-y \right \|_{2}^{2}$ 是数据保真项，

F_{u} \in C^{M \times N}

$F_{u}\in \mathbb{C}^{M\times N}$ 是欠采样的傅里叶编码矩阵，R 代表着x的正则项，

λ

$\lambda$ 平衡数据保真项和正则项的因子，正则项R往往是x某个稀疏域的

l_{p}

$l_{p}$ 范数，比如

l_{1}

$l_{1}$ 、

l_{2}

$l_{2}$ 范数。

1.2.2 常见的一些算法：

一开始MRI重建算法从最开始设计快速序列出发，诸如FSE、GRE、FSPGR、FMPGR等其他序列。
随后发展出来并行核磁共振成像(PMRI)算法，主要思想是利用多个线圈同时进行成像，主要的算法有SMASH、GRAPPA算法。
随着陶哲轩 等人提出的压缩感知方法，迅速将CS理论应用理论MRI重建中，突破了奈奎斯特定律的限制, 具有良好的数学证明，只要满足有限等距条件(RIP)就可以使用。在CS-MRI的大框架之下，涌现了一大批算法，主要研究的方向大概有两点。一是寻找合适的稀疏基，比如小波、TV、双树小波等。二是尽可能的利用图像的先验信息,比如支撑集、低秩特征、空间平缓性。自己所遇到的一些常见的包括了ADMM、TV、ISTA、DL-MRI、BM3D-MRI、OMP、k-t SLR、RPCA 、L+S、BCS 等方法，包含静态MRI和动态MRI,但其实算法还有很多很多。

自从深度学习出来之后，上述的方法都被称为了传统方法，不得不说深度学习还是太强大！在很多的深度学习重建MRI提出了上述传统方法的不足之处，大概有以下几点：

传统的CS-MRI要求采集矩阵和稀疏变换矩阵是不相关的，才可以使用CS-MRI理论，这个在实际中往往条件有点苛刻。
稀疏基往往太过于简单去捕捉非常复杂的图像组织。
这些方法往往都是求解优化问题，而且往往是非凸的，往往需要进行大量的迭代运算，不能够达到实时性的效果。
在CS-MRI中不合适的超参数预测往往会导致图像产生过于平滑以及不自然。

基于以上几个限制，MRI加速倍数在×2到×6之间。

1.3 基于深度学习的MRI重建算法

1.3.1 基本思想

公式表达：

\begin{matrix} (3) & \underset{x}{m i n} \frac{1}{2} {‖ F_{u} X - y ‖}_{2}^{2} + λ R (x) + ξ {‖ x - f_{c n n} (x_{u} | \hat{θ}) ‖}_{2}^{2} \end{matrix}

$\begin{equation} \underset{x}{min} \frac{1}{2} \left \| F_{u}X-y \right \|_{2}^{2} + \lambda R\left ( x \right ) + \xi \left \| x - f_{cnn}\left ( x_{u}|\hat{\theta } \right ) \right\|_{2}^{2} \end{equation}$
其中

f_{c n n}

$f_{cnn}$ 是以参数

θ

$\theta$ 正向传播的网络，

ξ

$\xi$ 是另一个正则化因子，

x_{u} = F_{u}^{H} y

$x_{u} = F_{u}^{H}y$ 是从欠采样的k空间直接傅里叶反变换得到的零填充图像数据，

\hat{θ}

$\hat{\theta }$ 是CNN网络训练得到的最好的参数。主要的思想如下图所示：
这里写图片描述

1.3.2 常见的一些算法：

将深度学习应用到MRI重建中时间也不长，最早的文章是2016的一篇文章Accelerating magnetic resonance imaging via deep learning^[1]作者将CNN网络利用MRI中，建立0填充图像到groud truth之间映射。这也算是开篇之作了。随后出现了cascade CNN ^[2]将多个CNN网络级联起来进行重建。西安交通大学的ADMM-Net ^[3]网络，将ADMM算法和CNN联合起来进行重建。帝国理工大学的DAGAN网络^[4]，将GAN的思想运用了MRI重建当中，生成器网络使用了u-net的思想，判别器网络使用了DCGAN的网络，另外也将图像损失、频率损失、对抗损失、感受损失联合起来了，其中这里的感受损失在2016的ECCV^[5]李菲菲实验室已经提出来了，作者就很好的使用了，所以说关注一些新的SR进展是多么重要。随后出现的GANCS网络^[6]，作者将LSGAN和CycleGAN思想完美的融合在一起，另外将k空间数据实部和虚部变成双通道同时送入网络进行训练。与此同时出现了RefineGAN^[7]引入了CycleGAN的相关思想。在2016还出现了Multi-GPU^[8]训练以及3D卷积稀疏编码^[9]应用到MRI重建当中。另外2017年一篇文章^[10]在欠采样的k空间加入了一些低频噪声这样有利于进行异常点准确重建。也出现了Transfer learning应用到MRI重建过程中^[11]，网络先在image-net上面进行训练，然后在T1、T2上面进行fine-tuning这样针对数据少的时候更少的减少过拟合。另一方面，发表在2018AAAI一篇文章RDN^[12]将递归学习、空洞卷积、残差学习很好的结合在一起，取得了不错的效果。最近出现的ISTA-Net^[13]和DR $^{2}$ -Net^[14]也是MRI重建的一些方法。另外，最新的一些方向也有利用3D^[15]、[16]方法进行MRI重建的。

接下来放一些深度学习重建的效果图：
DAGAN重建：
这里写图片描述

RDN重建效果：

1.4 一些展望

深度学习将传统的迭代所耗费的时间变成了训练时间和测试时间，往往训练时间需要好几天，但是重建一幅图像的时间(测试时间)往往可以达到10ms，这个速度确实可以达到实时性的效果。目前的MRI设备仍然使用PMRI成像以及直接将k空间的数据反变换成图像数据。压缩感知的虽然数学表达上非常完美，但是将其应用到MRI设备上好像还很难。虽然深度学习取得了很不错的效果，无论是在重建质量还是在重建速度上。但是有一个问题上深度学习的网络往往比较大，往往都是在服务器上的，那么部署到本地是一个问题，需要轻量级的网络结构以及相互配套的序列等一系列问题，同时对于人来说，具有不同的结构组织往往需要重新训练，深度学习还不能针对所有情况。另外，深度学习往往需要大量的数据进行训练，而某些时候由于隐私等其他情况数据并不是那么容易获得的。从这里看，想要将深度学习应用到MRI重建中，还有很长一段路要走。不过以上都是自己的一些见解，可能有失偏颇，恳请指正。