0. 论文简介

0.1 基本信息

2019年，印度 Vijay Kumar 等在 ACM Transactions on Computing for Healthcare 发表论文 “深度学习辅助早产儿视网膜病变筛查技术（Deep Learning Assisted Retinopathy of Prematurity Screening Technique）”。

本文提出了一种基于深度学习和计算机视觉的鲁棒智能系统，用于自动检测视盘（Optical Disk, OD）和视网膜血管，并对高严重性（Zone-1）的ROP病例进行分类。使用 YOLO-V5 模型，能够准确地从早产儿眼底图像中检测出视盘。

本文的贡献：

• 提出了一种基于深度学习的辅助系统，用于检测和分类ROP疾病。
• 系统结合了视网膜血管图和视盘（OD）的位置信息，帮助医生更好地理解ROP的进展。
• 强调了结果的可解释性，使医生能够将DL系统的结果与病理特征关联起来。

论文下载： ACM Transactions on Computing for Healthcare， springer
引用格式：
Vijay Kumar, Het Patel, Kolin Paul, and Shorya Azad. 2023. Deep Learning-assisted Retinopathy of Prematurity (ROP) Screening. ACM Trans. Comput. Healthcare 4, 3, Article 18 (July 2023), 32 pages. https://doi.org/10.1145/3596223

0.2 摘要

早产儿视网膜病变（Retinopathy of Prematurity, ROP）是全球早产儿失明的主要原因。通过适当的扫描和治疗，ROP导致的失明效应可以得到减少。然而，由于医疗设施的缺乏，很大一部分早产儿在出生后未能得到诊断。因此，这些婴儿更有可能因ROP而失明。

在本文中，我们提出了一种基于深度学习和计算机视觉的鲁棒智能系统，用于自动检测视盘（Optical Disk, OD）和视网膜血管，并对高严重性（Zone-1）的ROP病例进行分类。
为了测试和验证所提出的系统，我们使用来自当地医院的早产儿眼底图像进行了实证研究。**我们的结果表明，YOLO-V5 模型能够准确地从早产儿眼底图像中检测出视盘。**此外，基于计算机视觉的系统能够准确地分割早产儿眼底图像中的视网膜血管。特别是对于 ROP的Zone-1 病例，我们的系统能够达到83.3%的准确率。

1. 引言

早产儿视网膜病变（Retinopathy of Prematurity, ROP）是全球早产儿失明的主要原因（Organization et al., 2019）。这是由于早产低体重婴儿视网膜血管的异常发育引起的（Brown et al., 2018; Wang et al., 2018）。在过去的几十年中，儿科眼科医生一直使用视网膜图像进行ROP的筛查、检测和监测。眼科医生使用两种方法来分析视网膜扫描图像：手动和自动。然后，他们可以根据前后位置（区域）、严重程度（阶段）和血管特征对ROP进行分类（Dogra et al., 2017）。
其中一种分类标准是血管化的程度，将疾病分为三个区域：Zone-1、Zone-2和Zone-3，如图1 所示。在临床实践中，这对眼科医生制定ROP和附加疾病的治疗计划具有重要意义。此外，它还有助于了解疾病的改善和严重程度。因此，在ROP的整个治疗过程中，准确测量视网膜血管的血管化程度非常重要。
在印度，这个问题更加严重，因为超过65%的人口生活在乡村或小城镇地区，医疗设施（如新生儿护理、眼科医生、ROP筛查设备等）及其可用性有限（Dogra et al., 2017; Organization et al., 2019）。因此，很大一部分婴儿在出生后未能得到诊断。结果，这些婴儿更有可能因ROP而失明。此外，新生儿护理部门和眼科医生在提供适当诊断和治疗的时间有限，这使得问题更加具有挑战性。因此，迫切需要一种创新的解决方案来检测和分类导致儿童ROP失明的高严重性（Zone-1）病例。

鉴于其重要性，许多作者最近提出了几种ROP诊断和分类技术。其中一些基于图像处理，另一些基于人工智能技术。目前，机器学习（ML），特别是深度学习（DL）方法，显著提高了ROP诊断和分类应用的性能（Brown et al., 2018; Tan et al., 2019; Ting et al., 2019b）。基于DL的系统可以准确检测和分类ROP，但无法提供疾病的详细和定量信息。因此，眼科医生无法将基于DL系统的结果与疾病的体征和症状关联起来（Brown et al., 2018; Tan et al., 2019; Ting et al., 2019b）。

在本文中，我们将提出一种解决方案，考虑到医学应用中结果的可解释性是一个重要因素。此外，基于DL的系统是数据驱动的，需要大量的标记病理数据来训练、测试和验证模型。在ROP的情况下，获取大量眼底图像具有挑战性。因此，这阻碍了基于DL的系统在此类医学应用中的发展和使用。

因此，在本文中，我们引入了一种DL辅助系统来检测和分类ROP疾病。ROP分类主要基于血管化的位置和程度。它需要视网膜血管图以及视盘（OD）的位置和范围。OD是眼底图像中的明亮椭圆形区域。ROP分类算法使用OD作为参考点，根据血管的范围确定疾病的程度和进展。此外，眼科医生可以利用视网膜特征来确定ML/DL系统结果与病理体征和症状之间的相关性。

本文的其余部分组织如下：第2节介绍了与ROP筛查相关的最新工作。第3节详细介绍了所提出的DL辅助ROP筛查技术的设计。第4节展示了该技术在不同阶段的结果。最后，在第5节中，我们讨论了所提出技术的不足之处。

2. 相关的工作

在过去的几年中，眼科医生一直在使用多种方法进行ROP（早产儿视网膜病变）的筛查和分类。

其中一种方法是手动筛查。在这类方法中，眼科医生检查与疾病相关的视网膜图像症状。该过程具有高度的主观性和压力，决策完全取决于眼科医生的技能水平，基于视网膜血管的颜色、纹理、范围和结构进行判断。这使得结果具有显著的个体特异性，并导致专家间的差异问题。

为了克服这些限制，眼科医生和研究人员在医疗诊断应用中选择了计算机辅助技术。通过计算机辅助诊断（CAD），使用图像处理、计算机视觉和基于机器学习算法的技术来检测疾病。然而，这些技术在诊断过程中对于理解DR（糖尿病视网膜病变）、青光眼、AMD（年龄相关性黄斑变性）、ROP及附加疾病等视网膜疾病的进展并不十分有用。

近年来，多种基于深度学习的系统被开发用于视网膜疾病的诊断和筛查。深度学习系统的自我学习能力、准确性和效率引起了研究界的特别关注。因此，其在眼科领域的应用取得了成功，特别是在ROP、青光眼、DR和AMD等疾病方面，这些疾病的视网膜图像特征尚未完全明确（Ting等，2019a）。这些技术是数据驱动的，深度学习模型通过特定疾病相关的历史病理数据集进行预训练。许多基于深度学习的技术也已被开发用于ROP的筛查和诊断。

表1 总结了一些最近用于ROP筛查和诊断的基于DL的系统。这些系统使用不同变体的DL网络对ROP和 Plus 疾病进行筛查和分类。基于深度学习系统的性能优于传统的CAD应用（Ting et al., 2019b; Zhang et al., 2018; Guo et al., 2020; Ding et al., 2020）。此外，基于深度学习的筛查技术还解决了基于规则系统所缺乏的灵活性和适应性问题。

基于ML/DL的系统是数据驱动的技术，需要大量数据（标记/未标记）进行训练、测试和验证（Ting et al., 2019b; Zhang et al., 2018; Guo et al., 2020; Ding et al., 2020）。在医学应用中，数据收集（病理、药物和治疗历史）和标记是繁琐的任务。在某些情况下，疾病的发病率较低，其特征还取决于社会经济状况和地理分布，这使得获取高质量数据集更具挑战性。最近，在（Ting et al., 2019b）中，作者提出了基于深度神经网络（DNN）的强化学习技术用于ROP，这减少了开发人员或研究人员在训练DL模型之前进行标记的额外负担。

训练后的DL模块在特定数据集上的表现是高效且准确的，但对于其他数据集，其准确性则存疑。此外，对于专家来说，理解和解释DL系统结果与疾病体征和症状之间的相关性是困难的。因此，为了解决上述问题，我们提出了一种DL辅助的ROP筛查技术，该技术可以在无法获得大规模历史数据集的环境中运行，并且对DL系统结果的解释至关重要。

注释：手动筛查的局限性：
1. 主观性强：手动筛查依赖于眼科医生的经验和技能，结果可能因医生而异。
2. 压力大：医生需要仔细分析视网膜图像的颜色、纹理和结构，过程繁琐且容易出错。
3. 专家间差异：不同医生可能对同一图像得出不同的结论，导致诊断不一致。

3. 提出的方法

如图1 所示，ROP可以根据区域（I/II/III）进行分类，这些区域可以通过眼底图像中血管生长的范围来确定，这些区域是以视盘为中心的预定义同心区域。我们面临的一个挑战是附加疾病（plus disease）的检测和量化，这可以通过在距离视盘一定预定义距离处的血管弯曲度和动静脉宽度比来实现。

所提出系统的详细架构如图2所示。它由四个功能单元组成，分别是眼底成像（或视网膜扫描）、预处理单元、特征提取模块和疾病分类单元。

1. 眼底成像单元：负责采集和处理视网膜扫描图像，包括用于视网膜疾病诊断和筛查的视频。眼科医生通常使用眼底相机进行视网膜检查。眼底图像是用眼底相机拍摄的眼睛视网膜膜彩色图像。扫描的图像或视频数据通常包含噪声，并受到不均匀照明、运动模糊以及信号中突然变化等因素引起的多种误差的影响。因此，需要提高这些图像的质量。为此，系统配备了预处理单元。

2. 预处理单元：提供了增强图像质量的能力。它使用各种图像重建和增强算法来减少噪声的影响，具体方法将在后续章节中讨论。

3. 特征提取单元：对预处理后的图像进行处理，提取与ROP相关的病理特征。特征提取单元由两个子单元组成，分别是视盘（OD）提取单元和血管提取单元。这两个子单元共同负责从眼底图像中提取与ROP相关的特征。

4. 分类单元：最终，这些特征被分类单元用于检测ROP。

在本研究中，所提出的系统使用视网膜血管结构和范围来检测和分类ROP（Dogra et al., 2017）。为此，分类单元使用提取的特征来确定ROP疾病的状况。用于ROP的特征集是{OD, Vessel}。
分类单元使用国际早产儿视网膜病变分类（ICROP）规则进行ROP分区（如图1所示）（Dogra et al., 2017）。在此，根据视网膜血管结构及其范围将ROP分为三个区域。因此，特征提取单元的重要性更高，因为分类单元的准确性取决于从视网膜中提取的特征（如视盘（OD）和血管（Vessel））的质量（Dogra et al., 2017）。因此，我们使用了两个专门的视网膜特征提取单元：OD提取和血管分割。其中，OD提取模块基于深度学习（DL）系统，而血管提取模块基于图像处理和计算机视觉算法。

注释：
1. 系统通过预处理、OD提取、血管提取和分类四个模块，实现了从眼底图像到ROP分类的完整流程。
2. 特征提取的重要性：分类单元的准确性高度依赖于特征提取的质量。如果OD和血管提取不准确，分类结果可能会出错。因此，采用专门的模块分别处理OD和血管提取，确保特征提取的精度。

3.1 数据准备

为了训练、测试和验证所提出的系统，尤其是基于深度学习（DL）的模块，需要大量的历史数据点。因此，我们根据相关历史数据点（或图像）的可用性，创建了不同的眼底数据集，用于不同模块的训练、测试和验证。我们从德里AIIMS的RP中心收集了用于ROP疾病的AIIMS数据集，以开发ROP筛查模块，该数据集共包含 439 张图像。早产儿的数量、ROP阳性或阴性的详细情况如表2所示。

在本研究中，我们将数据集分为两个阶段用于所提出的系统。

• 在第一阶段，我们将其用于特征提取。所提出的系统有两个用于ROP筛查的特征提取模块：视盘（OD）检测和血管提取。OD检测模块是一个基于DL的系统。为此，我们总共标记了1556张眼底图像。其中，990张标记图像用于模块训练，281张用于测试，285张用于验证（用于从每个epoch中选择最佳DL模型以避免过拟合），如表3 所示。血管提取模块使用图像处理和计算机视觉系统，不需要任何训练即可使用。

• 在第二阶段，为了验证其性能，我们使用了一组独立的图像来验证我们的方法。这些图像由新生儿眼科医生收集并标记为四类：Zone-I、Zone-II、Zone-III和健康，这是真实标签（ground truth）。

3.2 图像预处理

在本研究中，我们使用了一家当地医院的早产儿视网膜原始图像来测试和验证所提出的系统。这些图像存在多种噪声，例如运动模糊、不均匀照明和图像信号中的突然干扰，这些噪声可能会降低系统结果的准确性。因此，在使用这些图像进行疾病检测之前，需要提高图像质量。我们通过预处理来减少噪声带来的不利影响。在本小节中，我们讨论了所提出系统使用的图像增强技术，以最小化视网膜扫描图像中噪声的影响。

新生儿的彩色眼底图像呈淡黄色。彩色图像帧包含三个颜色通道：红色（R）、绿色（G）和蓝色（B）。然而，R通道通常过饱和，而B通道曝光不足。因此，从R和B通道中无法清晰看到与血管和视盘（OD）相关的详细信息。而在G通道中，这些特征明显且可区分。因此，我们选择使用G通道，并将其用于所有后续的图像处理模块。

我们还使用了中值滤波器和对比度受限的自适应直方图均衡化（CLAHE）来提高彩色图像的质量，以减少不均匀照明和运动模糊的影响（Ravichandran and Raja, 2014）。然而，在DL系统中，我们使用彩色图像作为特征提取、疾病检测和分类的输入，并使用CLAHE来校正由于不均匀照明导致的彩色图像质量问题。

注释：
1. 预处理的重要性：（1）预处理是提高系统准确性和鲁棒性的关键步骤。（2）通过减少噪声和增强特征，预处理使后续的特征提取和分类更加可靠。
2. 预处理技术：
(1)中值滤波器：用于去除图像中的噪声，同时保留边缘信息。
(2)对比度受限的自适应直方图均衡化（CLAHE）：用于增强图像对比度，减少不均匀照明的影响，使血管和OD特征更加明显。

3.3 视盘（OD）检测

为了进行ROP的诊断和分类，我们遵循了ICROP（国际早产儿视网膜病变分类）定义的标准程序（Dogra et al., 2017）。根据ICROP的ROP分类，用于分区的参考圆以视网膜图像中的视神经为中心。因此，ROP分类的准确性取决于OD中心的检测精度。过去，许多研究者提出了一些简单的非数据驱动和数据驱动的方法（Wang et al., 2019; Budai et al., 2013; Yavuz and Köse, 2017; Islam et al., 2019），这些方法使用了标准数据集，如DRIVE（Staal et al., 2004）或STARE（Hoover et al., 2000）。然而，这些方法的主要问题在于它们试图通过强度变化来定位眼底图像中的视盘，因为视盘通常是眼底图像中最亮的区域。在AIIMS-ROP数据集中，早产儿的眼底图像是使用RetCam视网膜相机拍摄的。这些图像与标准数据集不同。我们可以从图3 中看到网格的差异。还需要注意的是，这些标准数据集在质量上更加一致，噪声较低且对比度良好。因此，在标准医院设置中获取的图像可以使用非数据驱动方法进行特征提取。然而，在实际应用中，我们必须处理各种质量的图像。

为了进行ROP分类，我们使用了一个DL模块，该模块能够高效且准确地执行OD检测，并提供OD中心的位置。对于OD检测，我们使用最先进的基于DL的目标检测模型YOLO-v5（Jocher et al., 2020）创建了一个目标检测模块，因为这些模型在预测时能够保证较高的准确性和低延迟。
为了训练这些模型，我们创建了一个大型数据集。为此，我们共收集了 6个数据集：五个公开数据集和一个来自当地医院的数据集。所有数据集的详细信息见表3。在新创建的数据集中，一些眼底图像没有OD。我们需要确保如果图像中没有OD，则不会得到假阳性结果（见表4）。

YOLO算法检测目标并提供其位置和边界框信息。因此，在眼底图像中，它检测视盘特征，如边界框的宽度、高度和中心。此外，OD的特征被疾病分类模块以及专家直接用于疾病筛查和验证任务。Redd等人（Redd et al., 2019）提供了YOLO算法的网络架构细节。我们根据YOLO模型的输入对编译的数据集进行了标记，然后以416 x 416的输入图像分辨率训练了网络。

3.4 血管提取

在所提出的系统中，基于ICROP的ROP分区算法利用的第二个重要视网膜特征是视网膜血管图。因此，所提出的系统需要一个血管提取模块，以从视网膜扫描中生成准确的视网膜血管图。

在过去的几年中，许多研究者开发了多种血管提取算法（Fraz et al., 2012; Islam et al., 2020）。这些算法在成人视网膜图像上表现良好，能够通过分割生成准确的血管图。如图5 所示，早产儿的视网膜血管结构发育不完全，因此其视网膜血管并不清晰可见。因此，传统的血管分割算法虽然在公开的视网膜图像数据集上表现良好，但在早产儿视网膜图像上效果不佳。

最近，一些研究者开发了能够准确分割早产儿视网膜血管图的技术（Yildiz et al., 2020; Luo et al., 2020）。这些作者使用基于深度学习（DL）的技术来分割血管，能够精确分割早产儿视网膜图像中的血管图。选择用于DL模型的训练数据集至关重要，因为它会影响系统的输出。这些DL系统中的训练数据集通常来自特定的人群，受性别、种族、年龄等因素的影响。因此，这些模型在本地数据集上可能不适用。然而，在特定人群中，模型需要重新训练才能使用，这需要大量的数据集。

在所提出的系统中，我们使用了一种基于图像处理和计算机视觉的血管分割算法，从眼底图像中分离出视网膜血管。由于缺乏用于验证和测试的真实标签或黄金标准，很难衡量所提出算法的性能。然而，血管分割单元从眼底图像中分割出的视网膜血管图足以满足ROP分区应用的需求。我们还通过新生儿眼科医生验证了通过血管分割方法获得的视网膜血管图。血管提取算法的流程如图4 所示，主要包括三个阶段：图像预处理、掩膜生成和血管分割。预处理阶段执行所有必要的操作以提高视网膜图像的质量。我们通过一系列形态学操作、聚类阈值处理和降噪来生成结果。

注释：算法流程：
- 预处理：提高图像质量，包括去噪和增强对比度。
- 掩膜生成：通过形态学操作和聚类阈值处理生成血管区域的掩膜。
- 血管分割：从预处理后的图像中提取血管结构。

3.5 ROP分类

所提出的系统使用了一种简单而高效的方法，通过上述模块进行区域检测。在本文中，我们使用单张眼底图像进行区域预测，因此无法覆盖有效检测Zone-2或更高区域所需的视网膜周边区域，也无法将图像分类为无ROP。由于Zone-1病例的严重性，我们方法的重点是准确检测Zone-1的ROP病例。图6 展示了所提出方法的流程图。

分类的准确性由两个因素决定。第一个因素是视网膜图像中血管分割的准确性，第二个因素是OD检测算法对视盘形状、大小和位置的检测准确性。此外，分区算法使用OD的位置和大小作为同心圆的参考点进行区域分类。Zone-1的半径大约等于OD直径的五倍。

在下一节中，我们将对所提出的解决方案进行评估。

注释：ROP分类的目标：系统的主要目标是准确检测Zone-1的ROP病例，因为Zone-1是最严重的区域，需要及时干预。

4. 结果

所提出的系统及其不同模块在配备Intel i7-9750H CPU、16 GB RAM和NVIDIA GeForce GTX 1660-Ti GPU的笔记本电脑上实现并进行了测试。在本研究中，我们提出了一种基于深度学习的计算机辅助诊断（DL-assisted CAD）系统，用于早产儿ROP的诊断和筛查。本节报告了研究过程中所提出的系统在不同阶段所取得的结果。

4.1 视盘分割

在收集了六种不同的数据集（如表3所列）后，我们手动标注了这些图像中视盘（OD）的边界框，随后训练了YOLO-v5模型。在上述规格的本地机器上，训练该模型耗时约10小时，而从图像中检测视盘的结果获取时间始终少于100毫秒。

图7展示了深度学习模块在不同训练轮次下，基于训练集和验证集的广义交并比（GIoU）损失、目标损失以及混淆参数（即精确率、召回率和平均精度均值（mAP））的性能指标。图中前两行分别显示了模型在训练集和验证集上试图减少的GIoU和目标函数值。从中可以看出，训练损失在下降，验证性能在提升，表明我们成功训练了模型。最后两列展示了随着训练进展，验证集上各种性能指标的变化。训练模型得到的结果见表5。

我们通过结合多个数据集创建了此数据集以训练YOLO模型，因此我们的模型应在所有数据集上表现良好。从表中可以看到，所有数据集的准确率均较高。还可以观察到，对于某些标准数据集，即使在测试集上也能轻松达到100%的准确率，这归因于标准数据集图像的稳定性。此外，某一数据集中包含一些无视盘的图像。如果将此问题视作视盘存在的二分类问题，我们使用YOLO-v5在该数据集上得出的混淆矩阵如图8所示（图中 0表示图像中无视盘，1表示有视盘）。这表明我们的模型在这一特定任务上也表现出色。

4.2 血管分割

图9 展示了使用我们的方法从AIIMS数据集中提取的血管结果。
从这些结果中可以看出，该算法有时对噪声或过曝较为敏感。我们尝试对该算法的每个参数进行微调，但数据集的多样性是我们方法的局限性之一。然而，该算法未能准确捕捉到血管较细的部分。截至目前，我们获得的结果对于当前的区域检测任务是可接受的，因为我们现在仅需要血管的延展范围。

4.3 ROP分区域检测

图10展示了所提出解决方案的可视化结果。
目前，我们拥有12张高质量图像（来自5位不同患者），这些图像在真实标注中被分类为区域1的ROP。其中，我们能够正确识别出10张图像（图像准确率为83.33%）。然而，如果计算前两名准确率，则每位患者的准确率可达100%，因为其中两张图像来自同一患者，该患者的图像在集合中较多。另外一张图像被成功预测为区域1的ROP。此外，如果考虑区域2的ROP图像，我们获得了72%的准确率。

5. 结论

在本研究中，我们报告了一种基于深度学习的视网膜疾病筛查系统的概念验证。

我们研究、设计并应用了这一新系统用于ROP（早产儿视网膜病变）的诊断和分类。在眼底图像预处理和血管提取方面，我们采用了基于图像处理和计算机视觉的技术，同时探索并测试了基于YOLO-v5的深度学习算法以检测视盘（OD）。该系统提供了一个集成的平台，能够同时支持数据驱动和基于规则的系统运行。因此，即使在数据集不足的情况下，该系统仍能成功运行。此外，在这一方法中，医生可以查看分类结果以及检测到的视盘和血管的可视化图像，从而理解系统的决策并进行验证。

我们还使用本地医院的早产儿视网膜扫描数据对我们的方法进行了测试。对于区域1的ROP，我们系统的准确率约为83.33%。目前，用于视网膜扫描的眼底相机视野（FOV）有限，因此无法在单帧图像中捕捉到视网膜的整个周边区域。然而，区域2和区域3的ROP需要更广阔的视网膜表面视野，这在当前设备配置下无法实现。因此，我们系统在区域2和区域3的准确率较低，但我们希望通过使用检查过程中获取的多张图像来显著提高这一准确率。

6. 参考文献

[1] Dirk-Jan Kroon. 2023. Hessian based Frangi Vesselness Filter - File Exchange - MATLAB Central. Retrieved from https://www.mathworks.com/matlabcentral/fileexchange/24409-hessian-based-frangi-vesselness-filter.

[2] Ranjana Agrawal, Sucheta Kulkarni, Rahee Walambe, and Ketan Kotecha. 2021. Assistive framework for automatic detection of all the zones in retinopathy of prematurity using deep learning. J. Digit. Imag. 34, 4 (2021), 932–947.

[3] Omneya Attallah. 2021. DIAROP: Automated deep learning-based diagnostic tool for retinopathy of prematurity. Diagnostics 11, 11 (2021), 2034.

[4] Deepthi Badarinath, S. Chaitra, Neha Bharill, Muhammad Tanveer, Mukesh Prasad, H. N. Suma, Abhishek M. Appaji, and Anand Vinekar. 2018. Study of clinical staging and classification of retinal images for retinopathy of prematurity (ROP) screening. In Proceedings of the International Joint Conference on Neural Networks (IJCNN’18). IEEE, 1–6.

[5] Peter Bankhead, C. Norman Scholfield, J. Graham McGeown, and Tim M. Curtis. 2012. Fast retinal vessel detection and measurement using wavelets and edge location refinement. PloS One 7, 3 (2012), e32435.

[6] Hannah Blencowe, Simon Cousens, Doris Chou, Mikkel Oestergaard, Lale Say, Ann-Beth Moller, Mary Kinney, and Joy Lawn. 2013. Born too soon: The global epidemiology of 15 million preterm births. Reprod. Health 10, 1 (2013), S2.

[7] James M. Brown, J. Peter Campbell, Andrew Beers, Ken Chang, Susan Ostmo, R. V. Paul Chan, Jennifer Dy, Deniz Erdogmus, Stratis Ioannidis, Jayashree Kalpathy-Cramer, et al. 2018. Automated diagnosis of plus disease in retinopathy of prematurity using deep convolutional neural networks. JAMA Ophthalm. 136, 7 (2018), 803–810.

[8] Attila Budai, Rüdiger Bock, Andreas Maier, Joachim Hornegger, and Georg Michelson. 2013. Robust vessel segmentation in fundus images. Int. J. Biomed. Imag. 2013 (122013), 154860. DOI:

[9] Michael F. Chiang, Graham E. Quinn, Alistair R. Fielder, Susan R. Ostmo, R. V. Paul Chan, Audina Berrocal, Gil Binenbaum, Michael Blair, J. Peter Campbell, Antonio Capone Jr et al. 2021. International classification of retinopathy of prematurity. Ophthalmology 128, 10 (2021), e51–e68.

[10] Mateusz Choiński, Mateusz Rogowski, Piotr Tynecki, Dries P. J. Kuijper, Marcin Churski, and Jakub W. Bubnicki. 2021. A first step towards automated species recognition from camera trap images of mammals using AI in a European temperate forest. In Proceedings of the International Conference on Computer Information Systems and Industrial Management. Springer, 299–310.

[11] Alexander Ding, Qilei Chen, Yu Cao, and Benyuan Liu. 2020. Retinopathy of prematurity stage diagnosis using object segmentation and convolutional neural networks. In Proceedings of the International Joint Conference on Neural Networks. IEEE, 1–6. DOI:

[12] Mangat Ram Dogra, Deeksha Katoch, and Mohit Dogra. 2017. An update on retinopathy of prematurity (ROP). Indian J. Pediat. 84, 12 (2017), 930–936.

[13] Kunio Doi. 2007. Computer-aided diagnosis in medical imaging: Historical review, current status and future potential. Computer. Med. Imag. Graph. 31, 4–5 (2007), 198–211.

[14] Takehiro Ema, Kunio Doi, Robert M. Nishikawa, Yulei Jiang, and John Papaioannou. 1995. Image feature analysis and computer-aided diagnosis in mammography: Reduction of false-positive clustered microcalcifications using local edge-gradient analysis. Med. Phys. 22, 2 (1995), 161–169.

[15] Muhammad Moazam Fraz, Paolo Remagnino, Andreas Hoppe, Bunyarit Uyyanonvara, Alicja R. Rudnicka, Christopher G. Owen, and Sarah A. Barman. 2012. Blood vessel segmentation methodologies in retinal images—A survey. Comput. Meth. Prog. Biomed. 108, 1 (2012), 407–433.

[16] Rebekah H. Gensure, Michael F. Chiang, and John P. Campbell. 2020. Artificial intelligence for retinopathy of prematurity. Curr. Opin. Ophthalm. 31, 5 (2020), 312–317.

[17] Clare Gilbert, Aeesha N. J. Malik, and Anand Vinekar. 2021. Artificial intelligence for ROP screening and to assess quality of care: Progress and challenges. Pediatrics 147, 3 (2021).

[18] Gorana Gojić, Veljko Petrović, Radovan Turović, Dinu Dragan, Ana Oros, Dušan Gajić, and Nebojša Horvat. 2020. Deep learning methods for retinal blood vessel segmentation: Evaluation on images with retinopathy of prematurity. In Proceedings of the IEEE 18th International Symposium on Intelligent Systems and Informatics (SISY’20). IEEE, 131–136.

[19] Changlu Guo, Márton Szemenyei, Yugen Yi, Wenle Wang, Buer Chen, and Changqi Fan. 2020. SA-UNet: Spatial attention U-Net for retinal vessel segmentation. arXiv preprint arXiv:2004.03696 (2020).

[20] Xin Guo, Yusuke Kikuchi, Guan Wang, Jinglin Yi, Qiong Zou, and Rui Zhou. 2020. Early detection of retinopathy of prematurity (ROP) in retinal fundus images via convolutional neural networks. arXiv preprint arXiv:2006.06968 (2020).

[21] Ann Hellström, Lois E. H. Smith, and Olaf Dammann. 2013. Retinopathy of prematurity. Lancet 382, 9902 (2013), 1445–1457.

[22] Asha Gnana Priya Henry and Anitha Jude. 2021. Convolutional neural-network-based classification of retinal images with different combinations of filtering techniques. Open Comput. Sci. 11, 1 (2021), 480–490.

[23] Sven Holm, Greg Russell, Vincent Nourrit, and Niall McLoughlin. 2017. DR HAGIS—A fundus image database for the automatic extraction of retinal surface vessels from diabetic patients. J. Med. Imag. 4, 1 (2017), 014503.

[24] Santosh G. Honavar. 2019. Do we need India-specific retinopathy of prematurity screening guidelines? Indian J. Ophthalm. 67, 6 (2019), 711.

[25] A. D. Hoover, V. Kouznetsova, and M. Goldbaum. 2000. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response. IEEE Trans. Med. Imag. 19, 3 (Mar.2000), 203–210. DOI:

[26] Yo-Ping Huang, Spandana Vadloori, Hung-Chi Chu, Eugene Yu-Chuan Kang, Wei-Chi Wu, Shunji Kusaka, and Yoko Fukushima. 2020. Deep learning models for automated diagnosis of Retinopathy of prematurity in preterm infants. Electronics 9, 9 (2020), 1444.

[27] Md Islam, Tahmina Nasrin Poly, Bruno Andreas Walther, Hsuan Chia Yang, Yu-Chuan Jack Li, et al. 2020. Artificial intelligence in ophthalmology: A meta-analysis of deep learning models for retinal vessels segmentation. J. Clinic. Med. 9, 4 (2020), 1018.

[28] Md Mohaimenul Islam, Tahmina Nasrin Poly, and Yu-Chuan Jack Li. 2019. Retinal vessels detection using convolutional neural networks in fundus images. bioRxiv (2019), 737668.

[29] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A. Efros. 2018. Image-to-Image Translation with Conditional Adversarial Networks. arxiv:1611.07004 [cs.CV]

[30] Ann L. Jefferies, Canadian Paediatric Society, Fetus, and Newborn Committee. 2016. Retinopathy of prematurity: An update on screening and management. Paediat. Child Health 21, 2 (032016), 101–104. DOI:

[31] Glenn Jocher, Alex Stoken, Jirka Borovec, NanoCode012, Ayush Chaurasia, TaoXie, Liu Changyu, Abhiram V. Laughing, tkianai, yxNONG, Adam Hogan, lorenzomammana, AlexWang1900, Jan Hajek, Laurentiu Diaconu, Marc, Yonghye Kwon, oleg, wanghaoyang0106, Yann Defretin, Aditya Lohia, ml5ah, Ben Milanko, Benjamin Fineran, Daniel Khromov, Ding Yiwei, Doug, Durgesh, and Francisco Ingham. 2021. ultralytics/yolov5: v5.0 - YOLOv5-P6 1280 Models, AWS, Supervise.ly and YouTube Integrations. DOI:

[32] Sharif Amit Kamran, Khondker Fariha Hossain, Alireza Tavakkoli, Stewart Lee Zuckerbrod, Kenton M. Sanders, and Salah A. Baker. 2021. RV-GAN: Segmenting retinal vascular structure in fundus photographs using a novel multi-scale generative adversarial network. In Proceedings of the International Conference on Medical Image Computing and Computer-assisted Intervention. Springer, 34–44.

[33] Sang Jin Kim, Alexander D. Port, Ryan Swan, J. Peter Campbell, R. V. Paul Chan, and Michael F. Chiang. 2018. Retinopathy of prematurity: A review of risk factors and their clinical significance. Surv. Ophthalm. 63, 5 (2018), 618–637.

[34] Vijay Kumar, Vatsal Agrawal, Shorya Azad, and Kolin Paul. 2023. Deep learning assisted plus disease screening of retinal image of infants. In Proceedings of the 16th International Joint Conference on Biomedical Engineering Systems and Technologies. INSTICC, SciTePress, 538–545. DOI:

[35] Vijay Kumar, Het Patel, Kolin Paul, Abhidnya Surve, Shorya Azad, and Rohan Chawla. 2021. Deep learning assisted retinopathy of prematurity screening technique. In Proceedings of the 14th International Joint Conference on Biomedical Engineering Systems and Technologies. INSTICC, SciTePress, 234–243.

[36] Vijay Kumar, Het Patel, Kolin Paul, Abhidnya Surve, Shorya Azad, and Rohan Chawla. 2022. Improved blood vessels segmentation of retinal image of infants. In Proceedings of the 15th International Joint Conference on Biomedical Engineering Systems and Technologies. INSTICC, SciTePress, 142–153.

[37] Baiying Lei, Xianlu Zeng, Shan Huang, Rugang Zhang, Guozhen Chen, Jinfeng Zhao, Tianfu Wang, Jiantao Wang, and Guoming Zhang. 2021. Automated detection of retinopathy of prematurity by deep attention network. Multim. Tools Applic. 80, 30 (2021), 36341–36360.

[38] Liangzhi Li, Manisha Verma, Yuta Nakashima, Hajime Nagahara, and Ryo Kawasaki. 2020. IterNet: Retinal image segmentation utilizing structural redundancy in vessel networks. In Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 3656–3665.

[39] Yuhao Luo, Kun Chen, Jianbo Mao, Lijun Shen, and Mingzhai Sun. 2020. A fusion deep convolutional neural network based on pathological features for diagnosing plus disease in retinopathy of prematurity. Investig. Ophthalm. Vis. Sci. 61, 7 (2020), 2017–2017.

[40] Darius M. Moshfeghi and Antonio Capone. 2018. Economic barriers in retinopathy of prematurity management. Ophthalm. Retina 2, 12 (2018), 1177–1178.

[41] Upesh Nepal and Hossein Eslamiat. 2022. Comparing YOLOv3, YOLOv4 and YOLOv5 for autonomous landing spot detection in faulty UAVs. Sensors 22, 2 (2022), 464.

[42] Faraz Oloumi, Rangaraj M. Rangayyan, and Anna L. Ells. 2014. Computer-aided diagnosis of retinopathy of prematurity via analysis of the vascular architecture in retinal fundus images of preterm infants. In Proceedings of the Doctoral Consortium on Computer Vision, Imaging and Computer Graphics Theory and Applications. SciTePress, 58–66.

[43] World Health Organization et al. 2019. World Report on Vision. Technical Report. World Health Organization, Geneva.

[44] Tapan P. Patel, Michael T. Aaberg, Yannis M. Paulus, Philip Lieu, Vaidehi S. Dedania, Cynthia X. Qian, Cagri G. Besirli, Todd Margolis, Daniel A. Fletcher, and Tyson N. Kim. 2019. Smartphone-based fundus photography for screening of plus-disease retinopathy of prematurity. Graefe’s Arch. Clinic. Experim. Ophthalm. 257, 11 (2019), 2579–2585.

[45] Kolin Paul and Vijay Kumar. 2015. Fundus imaging based affordable eye care. In Proceedings of the International Conference on Health Informatics (BIOSTEC’15). INSTICC, SciTePress, 634–641. DOI:

[46] Yuanyuan Peng, Weifang Zhu, Feng Chen, Daoman Xiang, and Xinjian Chen. 2020. Automated retinopathy of prematurity screening using deep neural network with attention mechanism. In Medical Imaging 2020: Image Processing, Vol. 11313. International Society for Optics and Photonics, 1131321.

[47] Yuanyuan Peng, Weifang Zhu, Zhongyue Chen, Meng Wang, Le Geng, Kai Yu, Yi Zhou, Ting Wang, Daoman Xiang, Feng Chen, and others. 2021. Automatic staging for retinopathy of prematurity with deep feature fusion and ordinal classification strategy. IEEE Transactions on Medical Imaging 40, 7 (2021), 1750–1762.

[48] C. G. Ravichandran and J. Benadict Raja. 2014. A fast enhancement/thresholding based blood vessel segmentation for retinal image using contrast limited adaptive histogram equalization. J. Med. Imag. Health Inform. 4, 4 (2014), 567–575.

[49] Muhammad Imran Razzak, Saeeda Naz, and Ahmad Zaib. 2018. Deep learning for medical image processing: Overview, challenges and the future. Classification in BioApps: Automation of Decision Making, In Nilanjan Dey, Amira S. Ashour, and Surekha Borra (Eds.). Springer International Publishing, Cham, 323–350.

[50] Travis K. Redd, John Peter Campbell, James M. Brown, Sang Jin Kim, Susan Ostmo, Robison Vernon Paul Chan, Jennifer Dy, Deniz Erdogmus, Stratis Ioannidis, Jayashree Kalpathy-Cramer, et al. 2019. Evaluation of a deep learning image assessment system for detecting severe retinopathy of prematurity. Brit. J. Ophthalm. 103, 5 (2019), 580–584.

[51] Julia E. Reid and Eric Eaton. 2019. Artificial intelligence for pediatric ophthalmology. Curr. Opin. Ophthalm. 30, 5 (2019), 337–346.

[52] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun. 2015. Faster R-CNN: Towards real-time object detection with region proposal networks. Adv. Neural Inf. Process. Syst. 28 (2015).

[53] Olaf Ronneberger, Philipp Fischer, and Thomas Brox. 2015. U-Net: Convolutional Networks for Biomedical Image Segmentation. arxiv:1505.04597 [cs.CV]

[54] Umme Sara, Morium Akter, and Mohammad Shorif Uddin. 2019. Image quality assessment through FSIM, SSIM, MSE and PSNR—A comparative study. J. Comput. Commun. 7, 3 (2019), 8–18.

[55] Rory Sayres, Naama Hammel, and Yun Liu. 2020. Artificial intelligence, machine learning and deep learning for eye care specialists. Annals of Eye Science 5 (2020), 18.

[56] Brittni A. Scruggs, R. V. Paul Chan, Jayashree Kalpathy-Cramer, Michael F. Chiang, and J. Peter Campbell. 2020. Artificial intelligence in retinopathy of prematurity diagnosis. Translat. Vis. Sci. Technol. 9, 2 (2020), 5–5.

[57] Parveen Sen, Chetan Rao, and Nishat Bansal. 2015. Retinopathy of prematurity: An update. Sci. J. Med. Vis. Res. Found. 33, 2 (2015), 93–6.

[58] João V. B. Soares, Jorge J. G. Leandro, Roberto M. Cesar, Herbert F. Jelinek, and Michael J. Cree. 2006. Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification. IEEE Trans. Med. Imag. 25, 9 (2006), 1214–1222.

[59] J. J. Staal, M. D. Abramoff, M. Niemeijer, M. A. Viergever, and B. van Ginneken. 2004. Ridge based vessel segmentation in color images of the retina. IEEE Trans. Med. Imag. 23, 4 (2004), 501–509.

[60] Joes Staal, Michael D. Abràmoff, Meindert Niemeijer, Max A. Viergever, and Bram Van Ginneken. 2004. Ridge-based vessel segmentation in color images of the retina. IEEE Trans. Med. Imag. 23, 4 (2004), 501–509.

[61] Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, and Alexander A. Alemi. 2017. Inception-v4, inception-ResNet and the impact of residual connections on learning. In Proceedings of the 31st AAAI Conference on Artificial Intelligence.

[62] Stanford Taylor, James M. Brown, Kishan Gupta, J. Peter Campbell, Susan Ostmo, R. V. Paul Chan, Jennifer Dy, Deniz Erdogmus, Stratis Ioannidis, Sang J. Kim, et al. 2019. Monitoring disease progression with a quantitative severity scale for retinopathy of prematurity using deep learning. JAMA Ophthalm. 137, 9 (2019), 1022–1028.

[63] Feng Tian, Ying Li, Jing Wang, and Wei Chen. 2021. Blood vessel segmentation of fundus retinal images based on improved Frangi and mathematical morphology. Computat. Math. Meth. Med. 2021 (May 2021), 1–11.

[64] Peng Tian, Yuan Guo, Jayashree Kalpathy-Cramer, Susan Ostmo, John Peter Campbell, Michael F. Chiang, Jennifer Dy, Deniz Erdogmus, and Stratis Ioannidis. 2019. A severity score for retinopathy of prematurity. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD’19). Association for Computing Machinery, New York, NY, 1809–1819. DOI:

[65] Daniel S. W. Ting, Lily Peng, Avinash V. Varadarajan, Pearse A. Keane, Philippe M. Burlina, Michael F. Chiang, Leopold Schmetterer, Louis R. Pasquale, Neil M. Bressler, Dale R. Webster and others. 2019. Deep learning in ophthalmology: the technical and clinical considerations. Progress in Retinal and Eye Research 72 (2019), 100759.

[66] Daniel Shu Wei Ting, Louis R. Pasquale, Lily Peng, John Peter Campbell, Aaron Y. Lee, Rajiv Raman, Gavin Siew Wei Tan, Leopold Schmetterer, Pearse A. Keane, and Tien Yin Wong. 2019. Artificial intelligence and deep learning in ophthalmology. Brit. J. Ophthalm. 103, 2 (2019), 167–175.

[67] Yan Tong, Wei Lu, Qin-qin Deng, Changzheng Chen, and Yin Shen. 2020. Automated identification of retinopathy of prematurity by image-based deep learning. Eye Vis. 7, 1 (2020), 1–12.

[68] Enes Sadi Uysal, M. Şafak Bilici, B. Selin Zaza, M. Yiğit Özgenç, and Onur Boyar. 2021. Exploring the limits of data augmentation for retinal vessel segmentation. arXiv preprint arXiv:2105.09365 (2021).

[69] Anand Vinekar, Shwetha Mangalesh, Chaitra Jayadev, Clare Gilbert, Mangat Dogra, and Bhujang Shetty. 2017. Impact of expansion of telemedicine screening for retinopathy of prematurity in India. Indian J. Ophthalm. 65, 5 (2017), 390.

[70] Ji Wang, Jie Ji, Mingzhi Zhang, Jian-Wei Lin, Guihua Zhang, Weifen Gong, Ling-Ping Cen, Yamei Lu, Xuelin Huang, Dingguo Huang, et al. 2021. Automated explainable multidimensional deep learning platform of retinal images for retinopathy of prematurity screening. JAMA Netw. Open 4, 5 (2021), e218758–e218758.

[71] Jianyong Wang, Rong Ju, Yuanyuan Chen, Lei Zhang, Junjie Hu, Yu Wu, Wentao Dong, Jie Zhong, and Zhang Yi. 2018. Automated retinopathy of prematurity screening using deep neural networks. EBioMedicine 35 (2018), 361–368.

[72] Xiaohong Wang, Xudong Jiang, and Jianfeng Ren. 2019. Blood vessel segmentation from fundus image by a cascade classification framework. Pattern Recog. 88 (2019), 331–341. DOI:

[73] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. 2004. Image quality assessment: From error visibility to structural similarity. IEEE Trans. Image Process. 13, 4 (Apr.2004), 600–612. DOI:

[74] Zhaoran Wang, Pearse A. Keane, Michael Chiang, Carol Y. Cheung, Tien YinWong, and Daniel Shu Wei Ting. 2020. Artificial intelligence and deep learning in ophthalmology. Artif. Intell. Med. (2020), 1–34.

[75] Zhengwei Wang, Qi She, and Tomas E. Ward. 2021. Generative adversarial networks in computer vision: A survey and taxonomy. ACM Comput. Surv. 54, 2 (2021), 1–38.

[76] Daniel E. Worrall, Clare M. Wilson, and Gabriel J. Brostow. 2016. Automated retinopathy of prematurity case detection with convolutional neural networks. In Deep Learning and Data Labeling for Medical Applications. Springer, 68–76.

[77] Zafer Yavuz and Cemal Köse. 2017. Blood vessel extraction in color retinal fundus images with enhancement filtering and unsupervised classification. J. Healthc. Eng. 2017 (082017), 1–12.

[78] Veysi M. Yildiz, Peng Tian, Ilkay Yildiz, James M. Brown, Jayashree Kalpathy-Cramer, Jennifer Dy, Stratis Ioannidis, Deniz Erdogmus, Susan Ostmo, Sang Jin Kim, et al. 2020. Plus disease in retinopathy of prematurity: Convolutional neural network performance using a combined neural network and feature extraction approach. Translat. Vis. Sci. Technol. 9, 2 (2020), 10–10.

[79] Yinsheng Zhang, Li Wang, Zhenquan Wu, Jian Zeng, Yi Chen, Ruyin Tian, Jinfeng Zhao, and Guoming Zhang. 2018. Development of an automated screening system for retinopathy of prematurity using a deep neural network for wide-angle retinal images. IEEE Access 7 (2018), 10232–10241.

[80] Zhong-Qiu Zhao, Peng Zheng, Shou-tao Xu, and Xindong Wu. 2019. Object detection with deep learning: A review. IEEE Trans. Neural Netw. Learn. Syst. 30, 11 (2019), 3212–3232.

版权说明：
本文由 youcans@xidian 对论文 Deep Learning Assisted Retinopathy of Prematurity Screening Technique 进行摘编和翻译。该论文版权属于原文期刊和作者，本译文只供研究学习使用。

youcans@xidian 作品，转载必须标注原文链接：
【医学影像 AI】深度学习辅助早产儿视网膜病变筛查技术(https://youcans.blog.csdn.net/article/details/146274115)
Crated：2025-03