摘要
本文提出了一种深层语义和多尺度的跨任务聚合网络，能够关联视网膜血管分割和中心线的提取两个任务，以此来共同提高两个任务的性能。网络有两个子网络。前端是一个深层语义聚合子网络，聚合了强大的语义信息，为两个任务生成了更强大的特征，而尾部是一个多尺度跨任务聚合子网络，探索互补信息以优化结果。
解决的问题
视网膜血管分割：基于深度网络的视网膜血管分割方法还没有充分利用视网膜图像的固有特征，还不足以在实际临床中使用，因此需要进一步得到一个用于精确视网膜血管分割的深层网络。
视网膜血管中心线提取：基于骨架化的方法依赖于血管分割的结果，通常会导致血管横截面上出现假骨架。基于滤波器的方法缺乏鲁棒性，并且容易因异常成像条件或病理而失败。因此，有必要开发一种更好的视网膜血管中心线提取方法。
创新点
- 通过基于联合学习的深度网络，将互相独立的视网膜血管分割和中心线提取关联在一起，使血管分割任务能够为中心线通过定位线索，而提取的中心线能够为血管分割提供有价值的信息
- 设计了语义聚合子网络，充分利用网络中高层的语义信息，学习血管和中心线的特征表示
- 设计多尺度跨任务聚合网络模块，适用于视网膜图像上固有的多尺度特征
网络结构
图1 网络结构
网络结构如图1所示，可以分为三个部分。
前端为一个深层语义聚合子网络，用于学习血管分割和中心线提取共同特征的共享部分。
后接两个分支，分别为血管分割和中心线提取两个任务提取不同的特征，并使用卷积块生成初步的结果。
最后，连接一个多尺度跨任务聚合子网络，来学习多尺度的互补信息，优化结果。
深层语义聚合子网络
用于学习血管分割和中心线提取的共享特征，是一种编码器-解码器网络架构，具体如图1左端模块所示。
将图像块输入到子网络中，首先送入到一系列编码器中（包括两个堆叠的卷积块），编码器直接通过最大池化层串行连接，生成不同层中的层次特征。
之后通过由语义聚合块组成的解码器利用前层的语义信息。语义聚合块的架构如图2所示。该解码器整体架构由一个串联结点和两个卷积块组成，横向上连接同一层中的编码器，纵向上通过跳转连接到前面高层中的解码器和更高层中的编码器。
解码器中语义聚合块（红色块）的输出可以分为两条路径：一个是与上层连接的跳转连接路径，另一个是侧输出路径，用于深入监控网络训练。
图2 语义信息块的架构说明。C是横向连接接收到的特征图的通道数。Conv1表示1×1卷积块，Conv3表示3×3卷积块。
多尺度跨任务聚合子网
以多尺度的方式，利用两个任务的互补信息，细化血管分割和中心线提取的初步结果。具体结构如图3所示。
图3
主要包括两个分支，将原始图片块串联作为输入，每个分支形成特征图。随后将特征图输入到多尺度交叉任务聚合模块中，生成激活图。激活图表示为从一个任务提取并应用于另一个任务的补充信息。
实验
图4
联合学习：通过共享参数，能够使得模型学习到某个不容易学习到的特征。例如某特征G
很容易被任务B学习，但是难以被另一个任务A学习。这可能是因为A以更复杂的方式与特征进行交互，或者因为其它特征阻碍了模型学习G的能力。通过MTL，我们可以允许模型 “窃听”，即通过任务B学习G。通过图4中的
baseline A和B对比可以看出，联合学习可以使得视网膜血管和中心线的提取得到改善。
深层语义：图像底层特征指的是：轮廓、边缘、颜色、纹理和形状特征。
边缘和轮廓能反映图像内容；如果能对边缘和关键点进行可靠提取的话，很多视觉问题就基本上得到了解决。图像的低层的特征语义信息比较少，但是目标位置准确。
图像的高层语义特征是我们所能看的东西，比如对一张人脸提取低层特征我们可以提取到连的轮廓、鼻子、眼睛之类的，那么高层的特征就显示为一张人脸。高层的特征语义信息比较丰富，但是目标位置比较粗略。
愈深层特征包含的高层语义性愈强、分辨能力也愈强。
通过深层语义模块，串联高层的编码器和解码器，可以获得来自于高层的语义信息，融合高层的语义信息，可以提高检测的性能。
如图4中的method A，通过充分利用嵌入所有高层的语义信息，两个任务的性能都得到了提升。
多尺度跨任务聚合：
下采样倍数小（一般是浅层）的特征感受野小，适合处理小目标，小尺度map（深层）分辨率信息不足不适合小目标。
对于小目标，小尺度feature map无法提供必要的分辨率信息，所以还需结合大尺度的feature map。
图像中存在不同尺寸的目标，而不同的目标具有不同的特征，利用浅层的特征就可以将简单的目标的区分开来；利用深层的特征可以将复杂的目标区分开来。
因此融合深浅层特征可以获得较好的特征语义信息特征和空间信息特征。
通过method B和method C对比可以看出，使用多尺度的方式融合跨任务信息可以进一步提高两个任务的性能。