文章学习38“LOW DOSE CT DENOISING”

以下文章paper和code连接在GitHub上。从方法上来说,低剂量CT去噪可以大致的分为三大类,第一类是针对CT重建之前的正弦域数据进行操作;第二类是针对CT重建之后的图像来进行图像去噪;最后一类是在正弦域与图像域相互转化的迭代算法。

一、正弦域去噪

CT正弦图表示来自径向视图的衰减线积分,并且是 CT 扫描中的原始投影数据。正弦图也是一种二维信号,正弦域去噪方法多是传统滤波技术,比如说使用非线性各向异性扩散滤波器来平滑数据噪声,采用自适应修剪平均滤波器来减少条纹伪影,双边滤波,非平稳滤波器等。但这些方法大都需要牺牲分辨率,所以需要配合正弦域插值进行。

在正弦域中完成了去噪之后就可以用FBP进行CT重建转化到图像域。

二、迭代算法

迭代重建本身和FBP一样是CT重建算法,其可分为两类代数迭代重建和统计迭代重建。代数迭代重建是将图像重建问题转化为求解线性方程组,经典的代数迭代算法有:代数重建技术(ART),联合代数重建技术(SART),联合迭代重建技术(SIRT)[1,2,3,4]。统计迭代算法根据投影数据的噪声统计模型和图像先验分布构建目标函数,然后通过最优化方法得到重建后的图像,常用的统计迭代算法有惩罚加权最小二乘法和最大后验算法。

迭代重建的去噪算法通过估计最大后验概率(Maximum A Posteriori, MAP)达到去除投影域噪声,这种基于MAP的滤波算法根据投影数据的统计分布和理想投影图像的先验信息建立目标函数,目标函数包括两项数据保真度和惩罚项。

将综合投影与探测器采集的实际测量值进行比较检验,两者之间的差异代表了当前估计需要校正的误差,并对当前估计得到的图像进行校正。再将校正后的图像带入模型进行下次综合投影模拟,并与实际测量值再次进行检验和校正。通过如此的反复迭代计算,对图像信息进行不断地检验和修正,直到误差降到最低。

三、图像域去噪

图像域的去噪方法就和自然图像去噪一致了,可以分成两大类基于模型的去噪和基于判别的去噪方法。基于模型的去噪方法就是传统机器学习领域的去噪方法,比如说利用图像自相似性的BM3D和NL-Means,利用稀疏空间的K-SVD等。Ma等[5]提出一种新的非局部降噪算法来对低剂量CT图像进行处理,把非局部算法与正常剂量扫描获得的重建图像相结合,降噪效果显著。Chen等[6]提出一种快速字典学习的方法处理腹部的肿瘤图像,该算法将稀疏字典学习理论与锐化滤波共同作用,在提高图像质量的同时还增强了对肿瘤特征的识别作用。Lauzier等[7]提出先验图像约束的压缩感知(Prior Image Constrained Compressed Sensing。PICCS)统计特性算法并用来减少辐射剂量,该方法在低剂量、高分辨率的实际临床情况中有普遍应用。

但上述基于模型的优化方法在性能和时间上都不理想,又由于深度学习的发展,基于判别的去噪方法得到了广泛的研究。尤其是16年AAPM大赛公开了大量的CT数据之后,深度学习领域出来了一批又一批的LDCT去噪by deeplearning。

3.1 Low-dose CT denoising with convolutional neural network[8]

第一篇有代表性的用深度学习方法进行LDCT去噪的作品,是ISBI 2016年川大的,网络非常的简单,文中也没有给网络结构图,就是一个三层的卷积加ReLU,这篇文章发表的时候AAPM比赛还未发出,所以数据集我常用的。

文章现在来看没有什么创新的地方,但当时把深度学习引入了LDCT去噪,随即一些LDCT去噪的比赛和文章相继发出。

3.2 A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction(KASIT-Net)[9]

本文是AAPM比赛的第二名,相比于上一篇中的纯卷积层的连接本文使用了resnet的结构,网络结构如下图。首先将输入图像通过小波变换分成4个level,channel分别是8,4,2,1,然后将这4个融合成15个channel输入到proposed network中。

proposed network和SRGAN的生成器结构类似,首先经过三个卷积层,然后输入到6个module中,每个module是由3个连续的conv+relu+bn和skip layer组成,每个module的输出都连接到网络的最后,让梯度更好的反传,加速end 2 end的训练。

网络采用SGD进行优化,训练patch设置为55*55,mse作为loss函数。总得来说本文的网络结构在16年时是很先进的,结果也很好,一直是后来LDCT去噪作品的baseline。

8771353-ada9a8782bbdaa9c.png

3.3 Low-Dose CT with a Residual Encoder-Decoder Convolutional Neural Network (RED-CNN)[10]

这篇就是LDCT广泛使用的baseline了,数据集自此之后也普遍的开始使用AAPM数据集。本文的主要思想和2016年NIPS的RED基本一致,网络采用AE的结构,先用卷积层进行编码,再用反卷积层进行解码,中间通过skip结构连接,如下图所示。

文章写法很有期刊的味道,实验设计繁多细致,算法上没有很大的创新,但很实用,网络消耗和性能共同考虑,上面两篇文章都是本文的baseline,实验结果如下表:

8771353-85e3cdfc58a0ba33.png
8771353-75fcb5bd64ad5e10.png

3.4 Sharpness-Aware Low-Dose CT Denoising Using Conditional Generative Adversarial Network [11]

在单独的卷积之后就出现了大批的对抗学习训练LDCT进行去噪,本文也是比较典型的GAN for LDCT,在2018年美国医学影像信息大会(SIIM)上发表的文章。整体网络结构如下,三个子网络构成:生成网络、判别网络和锐度检测网络。

8771353-2275b0f1ca4038b7.png

相比较普通的GAN,本文多了一个锐度检测网络,本身生成器的loss是L1,锐度检测网络的loss是L2,再加上GAN本身的对抗损失,整个loss就为:

8771353-6d915c2a40dff67d.png

生成器部分是U-Net结构,判别器是pix2pix的PatchGAN。

8771353-a205caaca9f4ea26.png

3.5 Low Dose CT Image Denoising Using a Generative Adversarial Network with Wasserstein Distance and Perceptual Loss (TMI 2018)[12]

这篇文章就是WGAN的一个应用,2018 IEEE TRANSACTIONS ON MEDICAL IMAGING的文章,文章模型总体结构如下:作者应该是受到SRGAN的影响,将VGG的损失函数带到了网络里,不纯粹的使用MSE,而是利用WGAN的内在损失和VGG进行训练。

8771353-335dd58487a06c6b.png

为了保证生成器部分能够产生高剂量CT,作者增加了感知损失来限制,就是上述模型里的part2,一般的去噪模型在这里都是用的MSE,但MSE的效果并不好,可能会产生模糊的图像并导致细节失真或丢失,所以作者尝试了特征空间中定义的loss函数:

8771353-9aa3ecd62f35f5c7.png

其中φ是特征提取器,whd是特征空间的宽、高、深度,本文中采用了VGG-19作为特征提取器,所以感知loss是

8771353-f12c01aebe9b26cf.png

整体结构就如上图所示,part1生成器部分8个卷积层的CNN用于进行CT图像的重建;part2感知损失结构用预训练好的VGG-19将生成器生成的图像G(z)和ground truth(x)喂到VGG里用于特征提取,然后根据上式更新生成器的权重;part3判别器网络,结构如下图所示,6个卷积层,3*3的卷积核,最后一层没有sigmoid。

8771353-7f22f489529a0459.png

3.6 Structurally-sensitive Multi-scale Deep Neural Network for Low-Dose CT Denoising

作者同上,文章创新点有三:第一就是3DCNN,生成器部分的,好处就是“ can integrate spatial information to enhance the image quality and yield 3D volumetric results for better diagnosis.”;第二个创新点是loss,作者采用了L1损失和结构敏感性损失相结合的loss形式,to capture local anatomical structures while reducing background noise.;第三个创新点就是实验部分对收敛速度和去噪结果进行对比。下图是网络结构,

8771353-0305e987b35d9b00.png

网络由三部分组成,part1生成器由8个3D卷积组成,奇数层卷积核是3*3*1,偶数层是3*3*3,切割成80*80*11的patch,每个卷积层之后加relu激活、part2结构敏感性损失网络也是3d、part3判别器,判别器部分使用的是2D卷积,filter依次是64、64、128、128、256、256的6个卷积层,卷积核是3*3。

作者讨论了使用3d信息的原因。在实际应用上,我们得到的CT本就是三维图像,医生观诊所用也是三维图像,3D-CT图像的相邻横截面切片表现出强烈的空间相关性,其可以保存比基于2D的模型更多的矢状和冠状方向的信息。

作者在文中对比了几种不同的loss,比如L2loss,它可以有效的抑制背景噪声,但是去噪结果不自然而且会模糊化,L1可以很有效的抑制掉高斯白噪声,但LDCT里不止是高斯噪声,所以针对LDCT效果不好。下一个loss是结构损失,目的是让生成器产生和HDCT更加相似的图像,所以这里用的是SSIM,这里的损失就是第三项,分析下,SSIM是一个[0,1]的数值,越大表示去噪效果越好,MS_SSIM是SSIM的乘积范围也被限制在[0,1],切SSIM越大,该值也会越大,LSL是1减掉MS_SSIM,那么就会随着MS的增大而减小,但会一直控制在[0,1],就可以像训练其他loss一样来训练。

8771353-137134b19febcd09.png
8771353-10e98935d9cf9d8c.png

3.7 3-D Convolutional Encoder-Decoder Network forLow-Dose CT via Transfer Learning From a 2-D Trained Network(TMI 2018)[13]

本文的主题网络也是GAN结构,但文章重点不是这个,而是2D-3D的转换。文章中提出了两个网络结构,2-D如下:

8771353-d3308cc499f381fa.png

作者认为针对于CT这种空间性较强的数据3D的处理更能获得空间信息,所以将2-D的结构转换为3-D,如下。但是3-D的网络消耗太大,所以作者使用了transfer learning,在上图的2D网络中训练好,将参数迁移到三维中,transfer 的方法如下:

8771353-03cbbc0e82be1d53.png
8771353-1028ad9b392711ce.png

上式中B是三维空间,H是2-D处理,初始化时2-d参数转移到3-D中,而后对三维空间进行优化,本文与RED-CNN和W-GAN进行了对比,结果如下:

8771353-e173f5808d30b0ca.png

3.8 SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction.(ISBI 2019)[14]

3.1-3.7的方法均是CT的后处理,在图像域的操作,本文结合正弦域和图像域一起进行处理。实际上就是在CT未成为图像之前的投影数据上先进行一个正弦图插值(用超分辨网络),而后投影数据开始转化为CT值,采用FBP。

FBP是目前最广泛的CT重建方法,其原理是中心切片定理:对投影的一维傅立叶变换等效于对原图像进行二维的傅立叶变换。所以可以根据投影数据得到原始的CT值。

稀疏域的源数据和经过插值的数据都经过FBP之后concat一起输入到去噪的网络中,去噪网络采用上一篇paper里的residual U-net。整个网络思想如下,目标函数是:

8771353-5c3f2e3ff1327bf3.png

网络端到端的进行训练,loss是:

8771353-293514fae3f895cc.png
8771353-bea156956e8a65c5.png
8771353-c9f4102b8466837f.png

References

[1]. Feeman T G. Algebraic reconstruction techniques [J]. The Mathematics of Medical Imaging, 2010, 101-114.

[2] Jiang M, Wang G. Convergence of the simultaneous algebraic reconstruction technique(SART) [J]. IEEE Trans. Image Process, 2003,12 (8): 957-961.

[3] Andersen A, Kak A. Simultaneous algebraic reconstruction technique (SART): a superior implementation of the ART algorithm [J]. Ultrasonic imaging, 1984, 6 (1): 81-94.

[4] Thomas M. Benson, Jens Gregor. Modified simultaneous iterative reconstruction technique for faster parallel computation[C]. IEEE Nuclear Science Symposium Conference Record, 2005,2715-2718.

[5] Ma J H,Huang J,Feng Q,et a1.Low—dose computed tomography image restoration using previous normal—dose SCan [J].Medical Physics,201 1,38(10):5713-5731.

[6] Chen Y,Yin X,Shi L,et a1.Improving abdomen ttlnlor low-dose CT images using a fast dictionary learning based processing[J].Physics in Medicine and Biology,20 1 3,58(16):5803.

[7] Lauzier P T,Chert G H.Characterization of statistical prior image constrained compressed sensing(PICCS):II.Application to dose reduction [J].Medical Physics,2013,40(40):021902.

[8] H. Chen, Y. Zhang, W. Zhang, P. Liao, K. Li, J. Zhou, and G. Wang,“Low-dose CT via convolutional neural network,” Biomed. Opt. Express 8(2), 679-694 (2017).

[9] E. Kang, J. Min, and J.C. Ye, “A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction,”arXiv:1610.09736 (2016).

[10] H. Chen et al., "Low-dose CT with a residual encoder-decoder convolutional neural network", IEEE Trans. Image Process., vol. 36, no. 12, pp. 2524-2535, Dec. 2017.

[11] Xin YiPaul Babyn:Sharpness-Aware Low-Dose CT Denoising Using Conditional Generative Adversarial Network. J. Digital Imaging31(5): 655-669 (2018)

[12] Qingsong YangPingkun YanYanbo ZhangHengyong YuYongyi ShiXuanqin MouMannudeep K. KalraYi ZhangLing SunGe Wang:Low-Dose CT Image Denoising Using a Generative Adversarial Network With Wasserstein Distance and Perceptual Loss. IEEE Trans. Med. Imaging 37(6): 1348-1357 (2018)

[13] Hongming Shan, Yi Zhang, Qingsong Yang, Uwe Kruger, Mannudeep K. Kalra, Ling Sun, Wenxiang Cong, Ge Wang: Correction for "3D Convolutional Encoder-Decoder Network for Low-Dose CT via Transfer Learning From a 2D Trained Network". IEEE Trans. Med. Imaging 37(12): 2750 (2018)

[14] Huizhuo Yuan, Jinzhu Jia, Zhanxing Zhu: SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction. ISBI 2018: 1521-1524

猜你喜欢

转载自blog.csdn.net/weixin_34260991/article/details/86995903