【医学影像 AI】基于深度学习的 ROP 严重程度筛查的可解释系统
0. 论文简介
0.1 基本信息
2024年,中山大学 Wenhan Yang, Hao Zhou, Yun Zhang 等在 Bioengineering 发表论文 “基于深度学习的 ROP 严重程度筛查的可解释系统(An Interpretable System for Screening the Severity Level of Retinopathy in Premature Infants Using Deep Learning)”。
本研究旨在通过模拟临床筛查过程,开发一种可解释的AI系统,以确定ROP的严重程度。根据临床指南,整合分期、区域和“加号病变”的存在情况,推导出ROP的严重程度,通过病变类型提供分期信息,通过病变位置提供区域信息,并通过“加号病变”分类模型判断是否存在“加号病变”。
论文下载: MPDI, gzzoc
引用格式:
Yang W, Zhou H, Zhang Y, Sun L, Huang L, Li S, Luo X, Jin Y, Sun W, Yan W, Li J, Deng J, Xie Z, He Y, Ding X. An Interpretable System for Screening the Severity Level of Retinopathy in Premature Infants Using Deep Learning. Bioengineering (Basel). 2024 Aug 5;11(8):792. doi: 10.3390/bioengineering11080792.
0.2 摘要
准确评估早产儿视网膜病变(ROP, Retinopathy of prematurity)的严重程度对于筛查和适当治疗至关重要。目前基于深度学习的自动化AI系统在评估ROP严重程度时并未遵循临床指南,且其过程不透明。
本研究旨在通过模拟临床筛查过程,开发一种可解释的AI系统,以确定ROP的严重程度。
共收集了来自番禺区妇女儿童医院(PY)和中山眼科中心(ZOC)的6100张RetCam III广角数字视网膜图像。其中,来自PY的520名儿科患者的3330张图像被标注用于训练目标检测模型,以检测病变类型和位置。来自ZOC的81名儿科患者的2770张图像被标注了病变分期、区域以及是否存在“加号病变”。
根据临床指南,整合分期、区域和“加号病变”的存在情况,推导出ROP的严重程度,并开发了一种可解释的AI系统,该系统能够通过病变类型提供分期信息,通过病变位置提供区域信息,并通过“加号病变”分类模型判断是否存在“加号病变”。ROP的严重程度据此计算,并与人类专家的评估结果进行比较。我们的方法在评估ROP严重程度时,曲线下面积(AUC)达到了0.95(95%置信区间[CI] 0.90–0.98)。与临床医生相比,我们的方法在评估ROP严重程度时的F1分数最高达到了0.76。
总之,我们开发了一种可解释的AI系统,用于评估ROP的严重程度,显示出在临床实践中用于ROP严重程度筛查的显著潜力。
1. 引言
早产儿视网膜病变(ROP, Retinopathy of prematurity)是早产后导致视力损害的最常见原因,可能导致视力丧失甚至失明,全球范围内约有22万人因ROP导致的失明和视力丧失病例[1]。早期筛查可以减少儿童失明及相关治疗费用。然而,由于缺乏能够在临床实践中经济高效实施的筛查策略,目前全球ROP筛查成本仍然居高不下[2–6]。
早产儿视网膜病变早期治疗研究(ETROP)指南[7]将需要治疗的重度ROP定义为三个要素的组合:分期、分区和“加号病变”。根据国际早产儿视网膜病变分类(ICROP3)[8],分期由最严重的ROP病变类型决定(分为五个阶段),分区由最严重病变至视盘的距离决定(分为三个区域),而“加号病变”则定义为第一区域内视网膜血管的扩张和迂曲。
目前,ROP筛查依赖于熟练的眼科医生使用双目间接检眼镜检查或解读广角数字视网膜成像(WFDRI)结果,这需要大量的时间和精力。然而,经验丰富的眼科医生资源有限。AI解决方案被提议用于减轻这一工作负担[9,10]。现有关于ROP严重程度筛查的AI研究主要分为两类。一类是由经验丰富的医生对数据进行ROP严重程度的标注,然后利用分类模型预测最终的严重程度[11–24]。这些标注可以完全或部分基于临床指南;例如,一些研究将分期作为严重程度的因子,因为它有助于确定治疗需求[11,14–17,21]。另一类使用类似的标注,但利用多模态数据,例如RetCam III图像和临床报告,提供年龄、出生体重[25]和时间序列的氧合数据[26],以预测严重程度。
用于早产儿视网膜病变(ROP)筛查的AI医疗模型必须在其诊断过程中优先考虑透明性和可解释性[27–29],然而,当前的AI研究往往未能达到这些标准。无论是直接预测ROP严重程度,还是许多关于分期[30–35]、分区[36–40]和“加号病变”[33,41–49]预测的研究,都使用了黑盒CNN模型,这些模型本身缺乏透明性。尽管将这些模型结合起来模拟临床过程是可行的,但仍然无法提供必要的清晰度。这种不透明性阻碍了临床医生评估诊断证据,违背了循证医学的原则,削弱了对AI结果的信任[50,51]。此外,无法向患者提供清晰的解释会导致临床信息的丢失和患者满意度的降低[52]。因此,开发符合临床指南的可解释AI对于建立信任、支持结果验证以及促进以患者为中心的ROP筛查和更广泛的医学诊断至关重要。
**我们的方法通过将单个图像中的病变映射到带有分区模板的全景视图上,显著增强了ROP筛查的临床可解释性,同时呈现分期和分区信息。**这种透明的方法与临床诊断过程紧密契合,增强了医生对结果的信心。**与之前的研究不同,我们的模型不仅能够识别,还能够定位单个视网膜病变,直接从图像中整合关键诊断标准——分期、分区和“加号病变”的存在,这是首次完全遵循临床筛查协议。模型的可视化解释性决策使眼科医生能够进行交互式审查,降低了误诊风险。**在外部数据集上的比较测试表明,其性能显著优于眼科医生的审查。通过利用领域适应来缩小领域差距,我们的模型能够从WFDRI图像中高精度地评估ROP。这种在实际严重程度筛查中的可行性有望促进及时治疗并减少早产儿的视力损害。
2. 方法
2.1 数据准备与预处理
本研究所用数据来源于中国两家医院:广州市番禺区妇女儿童医院(PY)和中山大学附属中山眼科中心(ZOC)。PY数据集采集于2015年1月至2018年3月,被划分为训练集和验证集用于病变检测任务。ZOC数据集采集于2018年4月至2022年3月,作为ROP筛查严重程度的独立外部验证数据集。
所有图像均通过接触式视网膜相机(RetCam III,Clarity Medical System,美国加利福尼亚州普莱森顿Las Positas大道西5775号,邮编94588)直接拍摄,并以PNG和JPG格式从设备导出。各中心负责患者数据的收集与匿名化处理。研究使用的伦理批准已分别获得各中心伦理委员会的批准(中山大学附属中山眼科中心伦理委员会,2020KYPJ175;广东省妇女儿童医院伦理委员会,202201057)。
来自PY的520名儿科患者,共3330张ROP疾病图像。对于PY数据集,原始分辨率为640×480。我们将PY数据集分为80%用于病变检测模型的训练,20%用于验证(表1)。对于ZOC数据集,原始分辨率为640×480或600×1200(调整为640×480)。ZOC数据集中有81名儿科患者,共136只眼,2770张ROP疾病图像用于系统测试,以及来自9546名患者的9,275,644张未标注图像用于预训练和领域适应。
两位经验丰富的眼科医生独立对数据集进行了标注,并由一位临床教授进行审查,作为参考标准诊断。若存在分歧,则以多数意见为准。PY数据集标注了病变的类型和位置。ZOC数据集则标注了ROP的分期、分区以及是否存在“加号病变”。
五位眼科医生受邀对ZOC数据集进行了阅读和评估,其中包括两位具有约六年临床经验的高级医生和三位具有约两年经验的初级医生,评估内容包括ROP的分期、分区以及“加号病变”的存在情况。
2.2 疾病分类标准
根据ETROP研究指南[7],我们将所有位于Ⅰ区的病变、Ⅱ区伴有“加号病变”且分期为Ⅱ期的病变、Ⅱ区Ⅲ期病变以及Ⅳ期病变分类为高风险的重度ROP病例。由于Ⅴ期病变本身较为罕见,并且一旦发现通常会立即进行治疗,因此本研究未纳入此类病例。其他类别的病变则被视为轻度ROP。在ZOC数据集中,64名儿科患者的107只眼被归类为轻度ROP,而24名儿科患者的29只眼被归类为重度ROP。
2.3 可解释的ROP评估系统架构
如图1 所示,该评估系统包括以下步骤:
- 将一只眼的所有方位图像输入病变检测模型;
- 病变检测模型从每张图像中检测病变的类型和位置,分期结果根据病变类型计算;
- 通过拼接模型将一只眼的所有方位图像组合成全景视图[53];
- 结合全景视图和病变位置确定分区结果;
- 将视盘位于中心位置的图像输入“加号病变”识别模型,该模型由I-ROP ASSIST[46]改进而来,用于预测“加号病变”是否存在;
- 根据临床指南,结合分期、分区及“加号病变”的存在情况,推断每只眼的严重程度分级。
图1: 早产儿视网膜病变严重程度自动评估的工作流程:
(A) 代表数据收集、模型训练与预测、病变拼接,最终预测ROP(早产儿视网膜病变)的分期和分区结果。
(B) 代表数据收集、预测加性病变(plus disease),并得出每只眼睛是否患有加性病变的最终结果。根据临床指南,最终根据分期、分区以及是否为加性病变来推断严重程度等级。(Z I 代表分区 I;Z II S II+ 代表分区II 和分期II 并伴有加性病变。)
可解释结果的获取过程:
- 首先,病变检测模型预测潜在病变的类型和位置;
- 随后,将这些信息映射到每只眼的全景图像上;
- 最后,生成包含分期和分区信息的单眼全景图像。
病变检测模型的开发:病变检测模型基于RetinaNet框架[54]和ResNet50骨干网络[55]开发。
我们使用同质预训练方法,通过自监督学习对骨干网络进行训练,利用ZOC数据集中未标注的同一方位图像进行配准。
数据增强包括随机翻转、高斯模糊、绿色通道随机、CLAHE随机、光度失真、剪切和旋转。
预训练模型的工作流程如图 2 所示,用于特征提取的网络架构基于ResNet50。预训练模型的图像配准任务利用提取的特征预测配准参数。使用 PyTorch深度学习框架和V100 GPU训练模型,损失函数为focal loss[56],优化器为Adam,初始学习率设为0.0001,批次大小为8,训练轮数为800。采用随机初始化、ImageNet 迁移学习和我们提出的同质预训练在病变检测中的性能如图3 所示。
图2:预训练流程图[53]。将两幅视网膜图像送入基于 ResNet50 的特征提取模块和图像配准预测模块,得到配准图像。在此过程中生成的模型权重用于下游任务训练。
图3. 三种损伤检测训练策略的性能:(A)表示训练集的AUC度量;(B) 表示验证数据集的AUC度量
适用的领域:病变检测模型和“加号病变”识别模型在PY数据集领域中进行训练,而ZOC数据集领域与PY数据集不同。
为了增强模型的泛化性能,我们利用循环生成对抗网络(Cycle-GAN)框架[57]将ZOC未标注数据集转换为PY数据集领域,从而进行了领域适应。适用领域的工作流程如图4 所示。
 *图4。领域适配的流程图。将目标域ZOC图像及其裁剪后的补丁转换为基于CycleGAN的域自适应流程图。图像中的蓝色部分代表ZOC中整个眼底图像的处理模块或结果,而红色部分则代表ZOC裁剪补丁的处理模块和结果。我们利用源域PY血管分割任务模型和特征样式对齐模块来约束模型。最终输出将是样式类似于源域PY数据的图像。*
2.4 评价指标
使用 Kappa系数(1)和准确率来评估ROP分期和分区的性能。Kappa值越高,性能越好。准确率和F1值用于评估“加号病变”分类的性能。
准确率(2)、灵敏度(3)、特异性(4)、F1分数(5)以及曲线下面积(AUC)用于评估ROP严重程度分级的性能。
2.5 实验设置
为了验证同质预训练模型和领域适应技术是否有助于提高下游ROP严重程度评估的水平,我们进行了对比实验。我们规定使用同质预训练和领域适应技术的方法为 方法1,随机初始化和领域适应的方法为 方法2,ImageNet和领域适应的方法为 方法3,同质预训练的方法为 方法4,随机初始化的方法为 方法5,ImageNet的方法为 方法6。
3. 结果
3.1 ROP分期分类性能评估
我们的ROP分期分类系统在诊断预测的准确性和Kappa值方面显著优于个体眼科医生。
在对比测试中,我们的模型实现了0.69的准确性和0.62的Kappa值,超过了参与研究的五位执业眼科医生,他们的准确性得分在0.37到0.57之间,Kappa值在0.28到0.52之间(表2)。此外,我们的系统在大多数ROP分期中的召回率也高于眼科医生,仅在将最严重的第4期病例误分类为相邻的第3期时表现稍逊(图5)。
图5:我们的方法和临床医生在评估ROP任务阶段时的混淆矩阵:(A)代表我们的系统;(B) 代表临床医生A;(C) 代表临床医生B;(D) 代表临床医生X;(E) 代表临床医生Y;(F) 表示临床医生Z。混淆矩阵的水平轴范围为0到4,表示从0期(表示没有ROP病变)到Ⅳ期的预测分期。
我们评估了三种不同的模型训练策略:视网膜图像数据集的同质预训练、随机初始化和ImageNet的迁移学习。与其他方法相比,对相关视网膜图像进行均匀预训练取得了更优的性能,表明在相关ROP数据上构建特征表示的好处。通过在任何培训策略中添加领域适应技术,取得了进一步的重大改进。然而,在ROP的精确自动分类阶段,同质预训练和域自适应的结合产生了最高的模型性能(图6)。
图6。评估ROP任务阶段的各种方法的性能;
(A) 表示评估ROP阶段的kappa指数的各种方法之间的比较;
(B) 表示各种方法在评估ROP阶段的准确性指标上的比较。
方法1表示我们的方法;
方法2表示随机初始化加域自适应;
方法3表示使用ImageNet加域自适应;
方法4表示使用同源预训练;
方法5表示使用随机初始化;
方法6表示使用ImageNet。
3.2 ROP分区分类性能评估
我们的系统在ROP分区分类方面也表现出色,在准确性和Kappa值上均超越了个体眼科医生。我们的模型在预测ROP分区时,达到了0.74的准确性和0.55的Kappa值(表3)。这一准确性超过了所有五位参与测试的眼科医生,他们的得分在0.61到0.73之间。我们的系统在Kappa值上也超越了大多数医生,后者的Kappa值范围为0.42到0.64。此外,我们的模型在大多数ROP分区中的召回率均高于眼科医生,尽管部分第Ⅲ区病例被保守地误分类为更严重的第Ⅱ区(图7)。这种误分类的方向符合ROP筛查中尽量减少漏诊的临床优先原则,即使这可能增加疾病的过度诊断。
图 7:我们的方法和临床医生在评估ROP任务区域时的混淆矩阵:(A)代表我们的系统;(B) 代表临床医生A;(C) 代表临床医生B;(D) 代表临床医生X;(E) 代表临床医生Y;(F) 代表临床医生Z。
我们还比较了三种模型训练方法在预测ROP分区方面的表现(图8)。同样,同质预训练方法的表现优于其他方法。将领域适应技术融入任何训练策略后,模型性能均得到了显著提升,而在视网膜图像上进行预训练后再结合领域适应的策略则实现了最高的模型性能。
3.3 ROP加性病变(Plus Disease)预测的性能评估
我们的系统在预测ROP加性病变的存在方面再次优于个体眼科医生。我们的模型达到了0.96的准确率和0.7的F1分数,超过了医生的准确率范围(0.90–0.94)和F1分数范围(0.52–0.67)(表4)。
我们还评估了**领域适应(domain adaptation)**对加性病变预测的影响,发现使用领域适应训练的模型优于未使用领域适应的模型(表5)
3.4 ROP严重程度评估的性能
我们的系统在评估ROP整体严重程度方面表现出优于个体眼科医生的能力。我们的系统实现了ROC曲线下面积(AUC)为0.95,且ROC曲线包络了所有医生的操作点(图9)。
此外,如补充表S1中详细描述的,我们的系统在ROP严重程度评估中达到了0.91的准确率和0.76的F1分数。这一表现匹配或超过了所有参与测试的五位执业眼科医生的性能,他们的准确率范围为0.81–0.90,F1分数范围为0.58–0.76。通过在区分能力(ROC分析)和精确率/召回率指标上匹配或超越人类专家,我们的机器学习方法展示了可靠的综合严重程度分析能力。
在将召回率(recall)固定为1以确保所有严重病例都被识别的情况下,我们的方法实现了比其他方法更高的特异性(specificity,最高达0.7)(表6)。
这表明我们的方法在检测非严重ROP病例时保持了较低的假阳性率(false positive rate),这是严重程度筛查中的一项重要能力,可以最大限度地减少不必要的治疗。我们的方法还实现了ROC曲线下面积(AUC)为0.95,在ROP严重程度评估任务中,AUC指标超过了所有其他方法(图10)。
图10:域自适应采用的三种方法之间ROP严重程度的性能:
红线表示方法1,这是我们的方法;
蓝线表示方法2,其使用具有随机初始化的域自适应;
绿线表示方法3,该方法使用ImageNet的域自适应;
黄线表示方法4,该方法使用同源预训练;
黑线表示使用随机初始化的方法5;
紫色线表示使用ImageNet的方法6。
3.5 我们方法的可视化
我们系统的可视化如图11所示。当系统评估患者时,它会自动生成全景视图以及最终结果。该视图包括视盘、黄斑以及病变的分期和分区信息。眼科医生可以通过浏览全景图像上的信息,快速评估系统的诊断是否正确,并向患者解释导致病情严重的原因。这不仅进一步减少了误诊,还促进了眼科医生与患者之间的有效沟通。
图11:我们方法的可视化。
(A-D)中的方框轮廓表示病变的类型和部位:(A)第一阶段:分界线;(B) 第二阶段:山脊;(C) III期:伴有视网膜外纤维血管受累的嵴;(D) IV期:视网膜次全脱离。
中间的红色圆圈表示区域一;紫色和红色圆圈之间的区域表示第二区;绿色和紫色圆圈之间的区域表示区域三。
图中的黄色矩形和红色矩形分别表示模型预测的病变区域和医生注释的区域。黄色字母和红色字母分别表示医生预测和注释的病变类型。
5. 讨论
与以往直接从眼底图像以黑箱方式分类ROP严重程度的人工智能研究不同,我们的模型通过逐步复制临床实践指南中的结构化诊断过程,与临床实践紧密契合。
我们的方法首先检测ROP分期、分区及“加号病变”存在的潜在标准,然后确定综合严重程度,从而提供可解释性,并模仿眼科医生的顺序评估。
这使得眼科医生能够交互式地审查分级细节,利用所获得的可解释结果快速评估系统在病变分期和分区预测中的准确性,进一步定位问题数据,从而减少误诊或漏诊的风险,并通过增强透明度建立信任。
我们的方法不仅仅作为第二意见,而是作为遵循既定协议的交互式辅助工具。通过提高准确性并与临床实践保持一致,我们的工作代表了人工智能在ROP筛查工作流程中安全集成的重要一步,通过相互可解释和结构化的严重程度评估促进医生与模型的协作,从而提高临床采纳率、效率、一致性,并最终改善患者的治疗效果。
我们的模型在识别ROP分期方面优于个体眼科医生,准确率为0.69,Kappa值为0.62。在识别分区方面,我们的模型准确率为0.74,超过了所有眼科医生,Kappa值为0.55,超过了大多数眼科医生。我们的系统在“加号病变”识别方面也表现优于眼科医生,准确率为0.96,F1得分为0.7。遵循临床指南,我们整合了分期、分区和“加号病变”的识别来确定ROP的总体严重程度,并提供分级的可视化解释。我们的方法在ROP严重程度评估方面与个体眼科医生相当或更优。
通过准确复制眼科医生的结构化诊断过程,我们可解释的人工智能系统展示了作为自动化ROP评估辅助工具的有前景的能力。
本研究的局限性
本研究存在一定的局限性,尤其是在识别晚期ROP病变分期和分区方面,这主要归因于训练数据的不平衡性。如图5和图7所示,对于第IV期病变的识别性能低于早期病变,部分第III区病例被误判为第II区,这反映了这些类别的样本量较小。
未来,通过收集更多多样化的ROP数据,尤其是针对晚期病变和第III区病变的数据,我们可以重新平衡训练集,进一步优化模型性能。
此外,超越目前使用的RetCam III数据集,纳入其他成像模态(如OCTA和荧光成像)也是一个有价值的方向,尽管目前这些技术在ROP评估中的应用仍较为有限。尽管具有挑战性,构建更大的多模态ROP训练数据集将有望增强模型在所有病变分期和分区中的表现能力。
虽然目前的研究结果表明模型的表现优于大多数个体眼科医生,但未来仍需重点提升对较少见病例的识别性能,以确保对最严重和晚期病变的可靠诊断。目前,我们的模型仅能解析每只眼的分期和分区信息,尚无法解析与“加号病变”相关的特征。我们的下一个目标是开发能够同时解析分期、分区和“加号病变”的模型。
5. 结论
总之,我们开发了一种可解释的人工智能系统,用于自动化评估早产儿视网膜病变(ROP)的严重程度。
我们的结果表明,该模型能够直接从眼底图像中准确检测ROP分期、分区以及“加号病变”的存在。
整个评估过程完全自动化,无需人工干预,同时也允许交互式可视化和诊断细节的验证。
通过以透明的方式复制眼科医生的结构化诊断方法,我们的系统作为一种辅助筛查工具,与临床指南保持一致。
迄今为止取得的优异性能凸显了我们的人工智能解决方案在辅助临床医生进行ROP严重程度评估方面的潜力,从而提高评估的效率、一致性和及时性,为治疗决策提供指导。未来,我们将继续收集更多数据以验证和优化模型,并致力于推动这一领域的发展。
6. 参考文献
- Wang, S.; Liu, J.; Zhang, X.; Liu, Y.; Li, J.; Wang, H.; Luo, X.; Liu, S.; Liu, L.; Zhang, J. Global, regional and national burden of retinopathy of prematurity among childhood and adolescent: A spatiotemporal analysis based on the Global Burden of Disease Study 2019. BMJ Paediatr. Open 2024, 8, e002267.
- Kim, E.; Nguyen, K.-H.; Donovan, T.; Edirippulige, S.; Armfield, N.R. A cost-minimisation analysis comparing alternative telemedicine screening approaches for retinopathy of prematurity. J. Telemed. Telecare 2023, 29, 196–202.
- Yu, T.; Donovan, T.; Armfield, N.; A Gole, G. Retinopathy of prematurity: The high cost of screening regional and remote infants. Clin. Exp. Ophthalmol. 2018, 46, 645–651.
- Rothschild, M.I.; Russ, R.; Brennan, K.A.; Williams, C.J.; Berrones, D.; Patel, B.; Martinez-Castellanos, M.A.; Fernandes, A.; Hubbard, G.B.; Chan, R.P.; et al. The Economic Model of Retinopathy of Prematurity (EcROP) Screening and Treatment: Mexico and the United States. Arch. Ophthalmol. 2016, 168, 110–121.
- Dave, H.B.; Gordillo, L.; Yang, Z.; Zhang, M.S.; Hubbard, G.B., III; Olsen, T.W. The societal burden of blindness secondary to retinopathy of prematurity in Lima, Peru. Am. J. Ophthalmol. 2012, 154, 750–755.
- Norman, M.; Hellström, A.; Hallberg, B.; Wallin, A.; Gustafson, P.; Tornqvist, K.; Håkansson, S.; Holmström, G. Prevalence of severe visual disability among preterm children with retinopathy of prematurity and association with adherence to best practice guidelines. JAMA Netw. Open 2019, 2, e186801.
- Good, W.V. Early Treatment for Retinopathy of Prematurity Cooperative Group. Final results of the Early Treatment for Retinopathy of Prematurity (ETROP) randomized trial. Trans. Am. Ophthalmol. Soc. 2004, 102, 233.
- Chiang, M.F.; Quinn, G.E.; Fielder, A.R.; Ostmo, S.R.; Chan, R.P.; Berrocal, A.; Binenbaum, G.; Blair, M.; Campbell, J.P.; Capone, A.; et al. International Classification of Retinopathy of Prematurity, Third Edition. Ophthalmology 2021, 128, e51–e68.
- Tong, W.J.; Wu, S.H.; Cheng, M.Q.; Huang, H.; Liang, J.Y.; Li, C.Q.; Guo, H.L.; He, D.N.; Liu, Y.H.; Xiao, H.; et al. Integration of artificial intelligence decision aids to reduce workload and enhance efficiency in thyroid nodule management. JAMA Netw. Open 2023, 6, e2313674.
- Spear, J.; Ehrenfeld, J.M.; Miller, B.J. Applications of Artificial Intelligence in Health Care Delivery. J. Med. Syst. 2023, 47, 121.
- Zhao, X.; Chen, S.; Zhang, S.; Liu, Y.; Hu, Y.; Yuan, D.; Xie, L.; Luo, X.; Zheng, M.; Tian, R.; et al. A fundus image dataset for intelligent retinopathy of prematurity system. Sci. Data 2024, 11, 543.
- Yenice, E.K.; Kara, C.; Erdaş, B. Automated detection of type 1 ROP, type 2 ROP and A-ROP based on deep learning. Eye 2024, 1–5.
- Liu, Y.; Xie, H.; Zhao, X.; Tang, J.; Yu, Z.; Wu, Z.; Tian, R.; Chen, Y.; Chen, M.; Ntentakis, D.P.; et al. Automated detection of nine infantile fundus diseases and conditions in retinal images using a deep learning system. EPMA J. 2024, 15, 39–51.
- Peng, Y.; Zhu, W.; Chen, Z.; Wang, M.; Geng, L.; Yu, K.; Zhou, Y.; Wang, T.; Xiang, D.; Chen, F.; et al. Automatic staging for retinopathy of prematurity with deep feature fusion and ordinal classification strategy. IEEE Trans. Med. Imaging 2021, 40, 1750–1762.
- Huang, Y.-P.; Basanta, H.; Kang, E.Y.-C.; Chen, K.-J.; Hwang, Y.-S.; Lai, C.-C.; Campbell, J.P.; Chiang, M.F.; Chan, R.V.P.; Kusaka, S.; et al. Automated detection of early-stage ROP using a deep convolutional neural network. Br. J. Ophthalmol. 2020, 105, 1099–1103.
- Hu, J.; Chen, Y.; Zhong, J.; Ju, R.; Yi, Z. Automated Analysis for Retinopathy of Prematurity by Deep Neural Networks. IEEE Trans. Med. Imaging 2018, 38, 269–279.
- Tong, Y.; Lu, W.; Deng, Q.-Q.; Chen, C.; Shen, Y. Automated identification of retinopathy of prematurity by image-based deep learning. Eye Vis. 2020, 7, 40.
- Campbell, J.P.; Kim, S.J.; Brown, J.M.; Ostmo, S.; Chan, R.V.P.; Kalpathy-Cramer, J.; Chiang, M.F.; Sonmez, K.; Schelonka, R.; Jonas, K.; et al. Evaluation of a deep learning–derived quantitative retinopathy of prematurity severity scale. Ophthalmology 2021, 128, 1070–1076.
- Taylor, S.; Brown, J.M.; Gupta, K.; Campbell, J.P.; Ostmo, S.; Chan, R.V.P.; Dy, J.; Erdogmus, D.; Ioannidis, S.; Kim, S.J.; et al. Monitoring disease progression with a quantitative severity scale for retinopathy of prematurity using deep learning. JAMA Ophthalmol. 2019, 137, 1022–1028.
- Huang, Y.-P.; Vadloori, S.; Chu, H.-C.; Kang, E.Y.-C.; Wu, W.-C.; Kusaka, S.; Fukushima, Y. Deep learning models for automated diagnosis of retinopathy of prematurity in preterm infants. Electronics 2020, 9, 1444.
- Peng, Y.; Chen, Z.; Zhu, W.; Shi, F.; Wang, M.; Zhou, Y.; Xiang, D.; Chen, X.; Chen, F. ADS-Net: Attention-awareness and deep supervision based network for automatic detection of retinopathy of prematurity. Biomed. Opt. Express 2022, 13, 4087–4101.
- Wang, J.; Ju, R.; Chen, Y.; Zhang, L.; Hu, J.; Wu, Y.; Dong, W.; Zhong, J.; Yi, Z. Automated retinopathy of prematurity screening using deep neural networks. EBioMedicine 2018, 35, 361–368.
- Wang, D.; Qiao, W.; Guo, W.; Cai, Y. Applying novel self-supervised learning for early detection of retinopathy of prematurity. Electron. Lett. 2024, 60, e13267.
- Redd, T.K.; Campbell, J.P.; Brown, J.M.; Kim, S.J.; Ostmo, S.; Chan, R.V.P.; Dy, J.; Erdogmus, D.; Ioannidis, S.; Kalpathy-Cramer, J.; et al. Evaluation of a deep learning image assessment system for detecting severe retinopathy of prematurity. Br. J. Ophthalmol. 2018, 103, 580–584.
- Wu, Q.; Hu, Y.; Mo, Z.; Wu, R.; Zhang, X.; Yang, Y.; Liu, B.; Xiao, Y.; Zeng, X.; Lin, Z.; et al. Development and validation of a deep learning model to predict the occurrence and severity of retinopathy of prematurity. JAMA Netw. Open 2022, 5, e2217447.
- Lin, W.C.; Jordan, B.K.; Scottoline, B.; Ostmo, S.R.; Coyner, A.S.; Singh, P.; Kalpathy-Cramer, J.; Erdogmus, D.; Chan, R.P.; Chiang, M.F.; et al. Oxygenation Fluctuations Associated with Severe Retinopathy of Prematurity: Insights from a Multimodal Deep Learning Approach. Ophthalmol. Sci. 2024, 4, 100417.
- Sadeghi, Z.; Alizadehsani, R.; Cifci, M.A.; Kausar, S.; Rehman, R.; Mahanta, P.; Bora, P.K.; Almasri, A.; Alkhawaldeh, R.S.; Hussain, S.; et al. A review of Explainable Artificial Intelligence in healthcare. Comput. Electr. Eng. 2024, 118, 109370.
- Pillai, V. Enhancing Transparency and Understanding in AI Decision-Making Processes. Iconic Res. Eng. J. 2024, 8, 168–172.
- Hassija, V.; Chamola, V.; Mahapatra, A.; Singal, A.; Goel, D.; Huang, K.; Scardapane, S.; Spinelli, I.; Mahmud, M.; Hussain, A. Interpreting black-box models: A review on explainable artificial intelligence. Cogn. Comput. 2023, 16, 45–74.
- Li, P.; Liu, J. Early diagnosis and quantitative analysis of stages in retinopathy of prematurity based on deep convolutional neural networks. Transl. Vis. Sci. Technol. 2022, 11, 17.
- Feng, W.; Huang, Q.; Ma, T.; Ju, L.; Ge, Z.; Chen, Y.; Zhao, P. Development and validation of a semi-supervised deep learning model for automatic retinopathy of prematurity staging. iScience 2024, 27, 108516.
- Ebrahimi, B.; Le, D.; Abtahi, M.; Dadzie, A.K.; Rossi, A.; Rahimi, M.; Son, T.; Ostmo, S.; Campbell, J.P.; Chan, R.V.P.; et al. Assessing spectral effectiveness in color fundus photography for deep learning classification of retinopathy of prematurity. J. Biomed. Opt. 2024, 29, 076001.
- Wang, J.; Ji, J.; Zhang, M.; Lin, J.-W.; Zhang, G.; Gong, W.; Cen, L.-P.; Lu, Y.; Huang, X.; Huang, D.; et al. Automated explainable multidimensional deep learning platform of retinal images for retinopathy of prematurity screening. JAMA Netw. Open 2021, 4, e218758.
- Chen, S.; Zhang, R.; Chen, G.; Zhao, J.; Wang, T.; Zhang, G.; Lei, B. Attention-guided deep multi-instance learning for staging retinopathy of prematurity. In Proceedings of the 2021 IEEE 18th International Symposium on Biomedical Imaging (ISBI), Nice, France, 13–16 April 2021; pp. 1025–1028.
- Chen, S.; Zhang, R.; Chen, G.; Zhao, J.; Wang, T.; Zhang, G.; Lei, B. Early detection of retinopathy of prematurity stage using deep learning approach. In Proceedings of the Medical Imaging 2019: Computer-Aided Diagnosis 2019, San Diego, CA, USA, 17–20 February 2019; Volume 10950, pp. 758–764.
- Lei, H.; Zhao, J.; Xie, H.; Liu, Y.; Zhang, G.; Lei, B. Dual-branch Feature Interaction Network with Structure Information Learning for Retinopathy of Prematurity Classification. In Proceedings of the 2023 IEEE International Conference on Bioinformatics and Biomedicine (BIBM), Istanbul, Turkiye, 5–8 December 2023; pp. 1230–1235.
- Peng, Y.; Xu, H.; Zhao, L.; Zhu, W.; Shi, F.; Wang, M.; Zhou, Y.; Feng, K.; Chen, X. Automatic zoning for retinopathy of prematurity with a key area location system. Biomed. Opt. Express 2024, 15, 725–742.
- Peng, Y.; Chen, Z.; Zhu, W.; Shi, F.; Wang, M.; Zhou, Y.; Xiang, D.; Chen, X.; Chen, F. Automatic zoning for retinopathy of prematurity with semi-supervised feature calibration adversarial learning. Biomed. Opt. Express 2022, 13, 1968–1984.
- Zhao, J.; Lei, B.; Wu, Z.; Zhang, Y.; Li, Y.; Wang, L.; Tian, R.; Chen, Y.; Ma, D.; Wang, J.; et al. A deep learning framework for identifying zone I in RetCam images. IEEE Access 2019, 7, 103530–103537.
- Kumar, V.; Patel, H.; Paul, K.; Azad, S. Deep learning-assisted retinopathy of prematurity (ROP) screening. ACM Trans. Comput. Health 2023, 4, 1–32.
- Ramachandran, S.; Niyas, P.; Vinekar, A.; John, R. A deep learning framework for the detection of Plus disease in retinal fundus images of preterm infants. Biocybern. Biomed. Eng. 2021, 41, 362–375.
- Nisha, K.L.; Sreelekha, G.; Sathidevi, P.S.; Mohanachandran, P.; Vinekar, A. A computer-aided diagnosis system for plus disease in retinopathy of prematurity with structure adaptive segmentation and vessel based features. Comput. Med. Imaging Graph. 2019, 74, 72–94.
- VMR, S. Computer Aided Diagnostics in Prediction of Plus and Pre Plus Diseases of ROP in Neonatal Fundus Images. In Proceedings of the 2024 International Conference on Recent Advances in Electrical, Electronics, Ubiquitous Communication, and Computational Intelligence (RAEEUCCI), Chennai, India, 17–19 April 2024; pp. 1–5.
- Tan, Z.; Simkin, S.; Lai, C.; Dai, S. Deep learning algorithm for automated diagnosis of retinopathy of prematurity plus disease. Transl. Vis. Sci. Technol. 2019, 8, 23.
- Mao, J.; Luo, Y.; Liu, L.; Lao, J.; Shao, Y.; Zhang, M.; Zhang, C.; Sun, M.; Shen, L. Automated diagnosis and quantitative analysis of plus disease in retinopathy of prematurity based on deep convolutional neural networks. Acta Ophthalmol. 2020, 98, E339–E345.
- Yildiz, V.M.; Tian, P.; Yildiz, I.; Brown, J.M.; Kalpathy-Cramer, J.; Dy, J.; Ioannidis, S.; Erdogmus, D.; Ostmo, S.; Kim, S.J.; et al. Plus disease in retinopathy of prematurity: Convolutional neural network performance using a combined neural network and feature extraction approach. Transl. Vis. Sci. Technol. 2020, 9, 10.
- Subramaniam, A.; Orge, F.; Douglass, M.; Can, B.; Monteoliva, G.; Fried, E.; Schbib, V.; Saidman, G.; Peña, B.; Ulacia, S.; et al. Image harmonization and deep learning automated classification of plus disease in retinopathy of prematurity. J. Med. Imaging 2023, 10, 061107.
- Jemshi, K.M.; Sreelekha, G.; Sathidevi, P.; Mohanachandran, P.; Vinekar, A. Plus disease classification in Retinopathy of Prematurity using transform based features. Multimed. Tools Appl. 2024, 83, 861–891.
- Huang, K.; Dong, W.; Li, J.; Chen, Y.; Zhong, J.; Yi, Z. GFF-Net: Graph-based feature fusion network for diagnosing plus disease in retinopathy of prematurity. Appl. Intell. 2023, 53, 25259–25281.
- Lebovitz, S.; Lifshitz-Assaf, H.; Levina, N. To engage or not to engage with AI for critical judgments: How professionals deal with opacity when using AI for medical diagnosis. Organ. Sci. 2022, 33, 126–148.
- De Boer, B.; Kudina, O. What is morally at stake when using algorithms to make medical diagnoses? Expanding the discussion beyond risks and harms. Theor. Med. Bioeth. 2021, 42, 245–266.
- Drossman, D.A.; Ruddy, J. Improving patient-provider relationships to improve health care. Clin. Gastroenterol. Hepatol. 2020, 18, 1417–1426.
- Zhou, H.; Yang, W.; Sun, L.; Huang, L.; Li, S.; Luo, X.; Jin, Y.; Sun, W.; Yan, W.; Li, J.; et al. RDLR: A Robust Deep Learning-Based Image Registration Method for Pediatric Retinal Images. J. Imaging Inform. Med. 2024, 1–15.
- Chen, K.; Wang, J.; Pang, J.; Cao, Y.; Xiong, Y.; Li, X.; Sun, S.; Feng, W.; Liu, Z.; Xu, J.; et al. MMDetection: Open mmlab detection toolbox and benchmark. arXiv 2019, arXiv:1906.07155.
- He, K.; Zhang, X.; Ren, S.; Sun, J. Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016; pp. 770–778.
- Lin, T.Y.; Goyal, P.; Girshick, R.; He, K.; Dollár, P. Focal loss for dense object detection. In Proceedings of the IEEE International Conference on Computer Vision, Venice, Italy, 22–29 October 2017; pp. 2980–2988.
- Chu, C.; Zhmoginov, A.; Sandler, M. Cyclegan, a master of steganography. arXiv 2017, arXiv:1712.02950.
版权说明:
本文由 youcans@xidian 对论文 An Interpretable System for Screening the Severity Level of Retinopathy in Premature Infants Using Deep Learning 进行摘编和翻译。该论文版权属于原文期刊和作者,本译文只供研究学习使用。
youcans@xidian 作品,转载必须标注原文链接:
【医学影像 AI】基于深度学习的 ROP 严重程度筛查的可解释系统(https://youcans.blog.csdn.net/article/details/146262578)
Crated:2025-03