论文阅读——Multi-scale Domain-adversarial Multiple-instance CNN for Cancer Subtype Classification

论文阅读之
Multi-scale Domain-adversarial Multiple-instance CNN for Cancer Subtype
Classification with Unannotated Histopathological Images
from CVPR2020
单位|Nagoya Institute of Technology；Nagoya University Hospital；日本理化学研究所

Abstract

本文提出了一种基于无标注病理图像进行癌症亚型分类的方法，可在全切片图WSI上自动外甥女成癌症区域的检测。主要难点有：


（1）一片完整的病理组织切片全景图像的尺寸就高达4000040000，在WSI上进行癌症区域的标注成本十分高昂；


（2）还要能够根据不同放大倍数完成局部和全局特征的提取;


（3）还要能够抵抗HE染色的系统偏差，稳定的检测到各级特征
文本为了解决以上难题，结合了多实例分割、域迁移抵抗和多级学习框架，能够有效的实现对无标注HE病理组织切片的恶性淋巴瘤的亚型分类。

# Section I Introduction


本文设计了一种新的神经网络用于癌症亚型粉类，以HE染色后的病理组织切片数字图像作为输入，而整个组织的全景切片(WSI）通常尺寸很大，处理过程中常通过切patch的方式喂入神经网络，因此需要对每一个patch进行肿瘤区域的标注，但不可忽视的是高昂的标注成本。如果使用未标注的patch进行分类，则有以下三方面的难题：


（1）癌症与正常区域交织在一张WSI图像中，而病理学家需要先鉴别出肿瘤区域的基础上进一步进行亚型分类
；


（2）切片的染色程度会根据实验采集条件有很大的波动性，不同批HE染色后颜色差异很大，病理学家往往需要在不同的染色基础上进行辨别；



（3）病理学家检测过程中需要不断调整放大倍数，在不同放大倍率下观察病理组织的多种特征综合得出结论。



因此，本文从模仿病理医生实际诊断的这一过程来设计一个实用的CNN模型，为了同时解决上述3大难题，本文将多示例学习（MIL）、域迁移和多尺度学习结合起来共同搭建一个CNN框架，并测试了来自80家医院共196个测试样例的恶性淋巴瘤压型分类。测试结果显示接近病理学家的诊断结果，而且过程中也显示出对肿瘤区域的关注，这一点与实际病理学家相似。

因此本文的工作主要有：


（1）基于MIL+DA+MS搭建的CNN网络用于HE病理染色图像的分类；



（2）该网络成功用于196例恶性淋巴瘤的亚型分类任务；



（3）在确认恶性淋巴瘤免疫染色过程中显示出和病理学家一样的诊断过程，会聚焦于不同放大倍率下的肿瘤区域。

# Section II Preliminaries


Part A 问题假设



问题是基于二进制的病理WSI图像进行二分类，依旧采用切patch的方式，patch大小为224224.
鉴于一张正类的WSI图像不仅仅只包含正类信息（也就是肿瘤区域的信息）因此本文借鉴了MIL的思想，学习的是一系列示例包，其中正例包中至少包含一例正例信息，而负例包里全为负例。


MIL示例





通过多实例学习来完成对未知包的分类，以及为了模仿不同的放大倍率，包内也存在不同放大倍数的图片。上标s表示不同的放大倍数


Part B Domain-adversial training
为什么需要DA对抗域迁移是因为病理染色带有很大的波动性，不同批示、不同实验环境都会导致染色情况的不一致，因此真正训练前常常需要预处理，比如颜色归一或颜色增强。
而DA训练会有选择性的忽略对分类任务无关的一些不一致的信息，前人研究[23]显示这比单纯使用图像增强的效果更好。因此本文也采用了DA的思想，有选择性的丢弃图像的个人信息，这样就可以忽略不同个体下不同的染色设定。
关于Domain -Adversial learning,可参考：
Domain-Adversarial Training of Neural Networks
Part C Multi-scale pathlogy image analysis
病理学家需要在不同放大倍数下观察组织样本进行综合分析，比如在低倍率下观察组织结构在高倍率下观察细胞核，因此在病理图像分析框架中也沿用这种层次结构，有两种实现路径。一种是以低分辨率图像输入，检测到ROI区域，然后基于ROI作进一步的细节分析；另一种技术路线是基于图像自身自动选择合适的分辨率，比如设计一种混合的专家网络选择不同分辨率的图片。
本文为了模仿病理学家不断调整显微镜的放大倍数进行观察这一过程，采用的是一种新的方法，在MIL多实例学习包中同时包含不同patch不同分辨率的图像，而不是采用传统的层级或选择某一分辨率的方式。

Section III Proposed Method

本文将HE染色后的全切片图像送入神经网络，根据输出的每种包的预测类别进行亚型分类任务。
整体网络结构参见Fig4，主要包含3大模块2个阶段。其中Feature Extractor负责将输入的图像映射到Q维的特征空间h；
Bag class label predictor包的类别标签预测通过采用注意力机制的一个NN完成将包内的特征向量，映射成整个包的类别概率值；Domain predictor负责将特征向量转换为某个域的概率输出。
在stage 1:同级的DA-MIL网络，主要获得每一级图片的bag label；
stage 2:多级的DA-MIL网络，可以看到多插入了feature extractor模块。

下面详细介绍两个stage执行的操作：
Part A Stage 1-SS-DA-MIL
会为每一种放大倍率下的patch计算其所属包的类别标签，注意在交叉熵损失函数中加入了对抗域迁移的正则化项，因此整个包的类别标签取决于注意力系数更大的那些示例（instance）;DA正则化项的引入主要为了抑制不同染色效果带来的影响。
Part B Stage 2:MS-DA-MIL
第二阶段不同包中包含了不同放大倍率下采集的patch，插入的特征提取器来自于stage 1中训练得到的。

Section IV Experiments

Part A Dataset
数据集：本文的数据来自于80家不同机构共196例临床案例，诊断结果来自于一名诊断专家。恶性淋巴瘤的亚型诊断十分复杂且困难，首先它有许多亚型，除了基于HE病理图像还需要结合同一病人的免疫组织化学染色结果得到最终结论。本文只对5种亚型进行分类，分别是：
DLBCL，diffuse large B-cell lymphoma ，血管免疫母细胞T细胞淋巴瘤;
AITL, angioimmunoblastic T-cell lymphoma，血管免疫母细胞T细胞淋巴瘤;
HLMC,classical Hodgkin’s lymphoma mixed cellularity，经典霍奇金混合细胞性淋巴瘤;
HLNS，classical Hodgkin’s lymphoma nodular
sclerosis ，经典霍奇金粥样硬化淋巴瘤。
其中DLBCL下还有两种子类型：GCB和non-GCB.
GCB,germinal center B-cell,生发中心B细胞。
（纯机器翻译，有误见谅…）
实验首先进行的是二分类，将包含两种子类型的DLBCL与其他四种类型的区分开。因此二分类负责区分DLBCL和non-DLBCL样本。
其中正例中的示例都是位于DLBCL肿瘤预取采集的，因为在DLBCL非肿瘤区域的样本与non-DLBCL的类似；负例则包含DLBCL非肿瘤区域采集的以及non-DLBCL图像中采集的patch。
最终DLBCL类包含98个样本，non-DLBCL也包含98个样本。

跑个步 回来继续。
回来啦。
Part B Experiment Settings
实现首先进行的是二分类，将包含两种子类型的DLBCL与其他四种类型的区分开。因此二分类负责区分DLBCL和non-DLBCL样本。
其中正例中的示例都是位于DLBCL肿瘤预取采集的，因为在DLBCL非肿瘤区域的样本与non-DLBCL的类似；负例则包含DLBCL非肿瘤区域采集的以及non-DLBCL图像中采集的patch。
最终DLBCL类包含98个样本，non-DLBCL也包含98个样本。
实验设定
使用放大倍数分别为10x和20x的图像，因此S=2.
数据集划分：training:validation:test = 60%:20%:20%;
从2种放大倍数中各随机提取100张224*224大小的patch，一共200张；
随后又进行了数据增强。
实验训练10个epoch，还需要确定DA正则化的参数lambda，由下式决定：
其中alpha是超参。
feature extractor用在ImageNet预训练过得VGG16，输出维度：25088.
随后经过label predictor的FC处理后变成512维的特征向量。
Part C Results
Table I展示了实验结果，可以看到与其他patch-based的结果对比，MS-DA-MIL取得了最佳的分类准确率，而且比单级的DA-MIL效果更好，也体现出使用多尺度信息的必要性。
除此之外，本文还可视化了区分DIBCL过程中的部分注意力权重的分布图，由Fig5从左至右依次是原始HE染色图像，权重分布图、CD20免疫组织化学染色的结果。row1代表10倍放大倍数，row2表示放大20倍。
在attention map中权值被归一化到0-1之间，其中蓝色表示权重为0，红色表示权重为1（即DLBCL），可以看到红色标注显示DIBCL阳性的区域和CD20显示褐色区域一致，显示出本文的MS-DA-MIL计算注意力区域的有效性。
Fig6想说明的是，通过可视化注意力权重的热力图，发现有的注意力在10x的图里更明显，有的在20x的图；里，因此在做分类的过程中使用不同放大倍数的图片是十分必要的。

Section V Conclusion

本文设计的CNN框架有效结合了Multi-Instance Learning(MIL),DA(Domain Adversial training),MS(Multi0Scale learning)的多重优势，目的是模仿真实病理专家的判断过程，有效完成了196例恶性淋巴瘤的亚型分类任务，在一重基于patch的方法中达到了SOTA。