Deep Learning Based Registration文章阅读(二)
本次阅读的文章题为《Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation》，来源CVPR2020。
Motivation
多模态图像配准一直是配准领域一个比较棘手的问题，主要是因为不同模态图像的intensity distribution不同，从而使得单模态配准的基于intensity的similarity metric不再能够较好的评价配准效果。目前多模态配准的解决办法一般基于一个假设：同一个object的不同模态的图像的structure或者叫shape feature是在一个共同的特征空间中的，而appearance feature是在不同的特征空间中。目前解决多模态配准问题一般从两个思路去考虑：(1)第一个是从similarity metric角度去考虑，即设计适合于多模态配准效果评估的metric作为loss function，像单模态那样去训练。一般这样的metric有(N)MI, NCC, SSIM等基于结构信息的评估metric。(2)第二个是从shape feature和appearance feature解耦的角度去考虑，这样的方法一般都会结合GAN的adversarial loss来判断一些shape和appearance重组的fake image和对应的real image是否一致，来引导shape feature和appearance feature的解耦学习，一般解耦的网络是一个Encoder-Decoder的网络，同时这类方法的framework都会有STN的结构来在shape feature image上做warped，即通过shape feature和appearance feature的解耦，只利用shape feature把多模态配准问题转成单模态问题来解。(或者只是一个modality-indepentent feature的一个extract结合后续的decode，不严格说是shape feature和appearance feature)其他思路有：只利用adversarial loss来做一个全局的learn-based similarity metric，但是这样就没有考虑局部信息。上述主要两种思路也均存在自己的问题：(1)第一种思路存在的问题是，对不同模态的两个图像的配准，往往不知道该用哪个metric来做loss会比较好，即某一个基于shape feature的metric可能不能很好的评估所有模态，此外这种hard-crafted的metric可能会限制网络相对强大的拟合性能，从而不能达到一个好的效果。(2)第二种思路存在的问题是，解耦的学习可能在局部水平上引入不一致性（这一点的解释笔者还比较模糊，没有很能说服自己的体会）。
Objective
这篇文章提出了一种无监督的多模态配准的框架，是基于GAN网络的框架并结合STN来实现。它与上述Motivation中第二种思路最大的不同在于，之前的解耦都是映射到一个“第三方”的公共特征空间，只利用GAN的“A”，也就是对抗部分网络来实现一些效果不错的learning-based metric来做loss。而这篇文章笔者的理解是用了整个GAN网络的framework，即既用了“G”又用了"A"，“A”的使用上和之前的思路是一样的，“G”的使用是直接把一种模态的图像style transfer到另一种图像，而不是把两种模态图像映射到“第三种图像”。这样最大的好处是可以在图像空间使用相似度，相比于解耦的方法可以得到可靠的局部信号(但是这个说法还是比较模糊，笔者认为这篇文章其实总体上也是第二种思路，感觉差不多)。
Framework
图一所示是整体框架，灰色虚线是之前的方法，利用多模态的metric做loss，图二是两种flow order，分别是先配准后进行模态转换，和先模态转换后配准，这样的好处是可以让R和T都“各司其职”，不出现R会改变像素值，T会有形变操作的情况。这里的D相比于之前的一些工作用的是cGAN的D，输入是一对图像，即在给定一个模态图像分布情况下的D。给定一个模态图像分布就是"c"的概念，就是conditional。
Loss Function
recon loss和cGAN loss都比较好理解，主要是这个smooth loss和之前不太一样，它前面有一个加权系数，借鉴了双边滤波器的思想。双边滤波器是高斯平滑的一个“升级版”，即在进行高斯平滑的时候，除了使用距离作为加权，还使用亮度信息作为加权，从而起到保护边缘的效果。公式如下：
目的是防止flow在边界区域被过渡平滑。具体的好处见论文，但是目前笔者对该smooth loss怎么对应双边滤波器中两个加权概念以及文中提到的两个使用该权重的好处，还没能体会出来。