小罗碎碎念
最近在考古之前分享过的病理AI顶刊，开始查漏补缺了。
这期推文分享的顶刊标题为“A guide to artificial intelligence for cancer researchers”，于2024-05-16发表于nature reviews cancer ，目前IF=72.5。这篇文章为非计算机背景的癌症研究人员提供了一个关于如何利用人工智能工具来提升研究效率和发现新科学的实用指南。
| 作者角色 | 姓名 | 单位名称 |
|---|---|---|
| 第一作者 | Raquel Perez-Lopez | 瓦尔德赫布隆肿瘤研究所放射组学组，瓦尔德赫布隆巴塞罗那医院园区，西班牙 |
| 通讯作者 | Jakob Nikolas Kather | 德累斯顿工业大学Else Kroener Fresenius数字健康中心，德国 |
文章探讨了AI在癌症研究中的多种应用，包括实验结果的图像分析、文本分析和药物发现。特别强调了深度学习在提高研究生产力、分析实验数据、处理复杂数据类型（如基因组信息）以及在药物发现中筛选潜在化合物方面的潜力。
在生物医学图像分析方面，文章讨论了深度学习在病理图像分析和放射学中的应用，包括使用深度学习模型进行肿瘤检测、预测遗传变异和识别生物标志物。文章还提到了AI在自然语言处理（NLP）中的应用，特别是大型语言模型（LLMs）在处理文本数据方面的能力。
文章最后讨论了AI在癌症研究中的新兴用途，包括多模态AI、视觉LLMs、基因组和蛋白质组分析、药物发现和临床试验优化。文章强调了AI在提高癌症研究效率和效果方面的潜力，并指出了在实现这一潜力过程中需要克服的挑战，包括数据集成、模型解释性和透明度、数据共享和模型验证标准的建立。
文章的结论是，AI在癌症研究中的应用前景广阔，但要充分发挥其潜力，还需要解决包括数据整合、模型解释性、数据共享和模型验证等多个挑战。作者建议癌症研究人员熟悉这些工具，并了解当代AI的潜力和局限性，以便在AI工具无处不在的世界中导航。
一、引言
数十年来，AI大多是一个理论构造，与现实世界的关联较少。然而，在过去的15年中，AI在包括生物医学研究在内的广泛领域达到了人类水平的表现（图1a和方框1）。
基础研究（Basic research）
- 预测蛋白质结构（Predict protein structure）：利用计算生物学方法预测蛋白质的三维结构，这对于理解蛋白质功能和设计药物至关重要。
- 自动化高通量分析（Automate high-throughput assays）：开发和使用自动化技术进行大规模的实验，以快速筛选和分析大量样本。
转化研究（Translational research）
- 识别基因组结构（Identify genomic structures）：研究基因组中的结构变异，这些变异可能与疾病相关。
- 病理生物标志物（Pathology biomarkers）：发现和验证可以用于诊断或预测疾病进展的生物标志物。
- 结构非结构化数据（Structure unstructured data）：整理和分析非结构化数据，如临床笔记或图像，以提取有用的信息。
临床研究（Clinical research）
- 改善反应评估（Improve response assessment）：开发更准确的方法来评估患者对治疗的反应。
- 结合多模态数据（Combine multimodal data）：整合来自不同来源和类型的数据，如基因组数据、临床数据和影像数据，以获得更全面的疾病理解。
1-1：人工智能从理论到实际应用的演进
人工智能（AI）领域普遍被认为起源于1956年在达特茅斯学院举行的一次会议。
早期的工作主要集中在所谓的符号AI上，例如基于规则的系统用于下棋等任务。到了20世纪60年代和70年代，开始更普遍地融入机器学习算法和简单的人工神经网络（尽管这些计算能力有限）。不过在今天几乎所有的高级AI应用中（包括癌症研究），机器学习已经取代了符号AI。
在20世纪80年代，反向传播算法的开发提高了人工神经网络的训练效率（今年诺奖Hinton的研究）。尽管有了这些进步，但由于未达成的期望和随后的资金削减，AI研究在20世纪80年代末和90年代经历了一个冬季期。随后，研究重点转向了机器学习技术，如支持向量机或决策树，这些技术在各种应用中展示了统计上显著的表现。
今天，我们将这些机器学习方法称为“经典”机器学习。随着硬件水平的提升，人工神经网络进一步发展，最终在2010年代初，深度神经网络在图像和语音识别等领域展现了卓越的性能。神经网络最早的现实应用之一是在邮政服务中。
在20世纪80年代，人工神经网络已经被用来通过识别信封上手写的字母来自动分拣邮件168。如今，深度学习广泛普及，通过图像分析帮助癌症诊断，金融中的欺诈检测，以及自动驾驶车辆中的导航。AI已经从一门理论学科转变为具有变革性影响各个行业实际工具。其能力范围从基本的模式识别到可以无监督学习并实时处理自然语言的先进神经网络。
无论是能够适应我们的智能家居，还是能够预测我们偏好的推荐算法，AI在解决复杂问题上的价值已被证明是巨大的，其影响力仍在不断扩大。
1-2：AI已成熟为具有现实意义的多重产品
技术上，当今AI的许多应用重度依赖于人工神经网络（ANNs），这是受大脑生物神经网络启发的计算模型。
ANN由称为“神经元”的连接单元组成，这些单元被组织成层。ANN通常具有多个层，每层包含大量神经元：
- 输入层接收输入数据；
- 输出层产生最终输出；
- 隐藏层执行大部分计算。
当一个ANN包含大量这些隐藏层时，被称为深度ANN。这里的“深度”指的是网络的深度，即层数的度量。
深度神经网络由于其扩展架构，能够学习复杂模式，这允许更多层次的数据抽象和表示。深度神经网络通过使用大型数据集并根据输出误差调整网络参数（如神经元之间的连接权重）进行训练。这一过程称为深度学习。在深度学习过程中，网络从例子中学习执行任务。
如今，在癌症研究中，AI的概念与深度学习的重叠程度很高，以至于这些术语经常被交替使用。
AI方法在癌症研究中越来越常见
一些生物医学研究软件具有可针对特定任务进行训练的AI系统，例如带有图形用户界面的图像分析工具，允许用户训练自定义AI模型（图1b和补充表1）。
ilastik非常适合亚细胞分析，而QuPath和3D Slicer分别常用于组织层面和全身成像。Fiji、ImageJ和CellProfiler是多功能的工具，能够处理不同尺度下的广泛图像分析任务。
本综述重点关注与癌症研究相关的AI的关键概念和工具，包括在图像分析、自然语言处理（NLP）和药物发现中的应用。本综述旨在作为实用指南，不会深入探讨AI算法的数学基础或高度技术性方面。
二、深度学习理解
2-1：深度学习类型
深度学习算法可分为监督学习1、无监督学习2和强化学习3,4。
监督学习是最常见的深度学习类型。在监督学习中，模型在标记数据集上训练，这意味着每个训练示例（例如，一张照片）都与一个输出标签或真实标签（例如，“猫”或“狗”）配对。模型根据输入数据做出预测或决策，并从真实标签中学习正确预测的模式5。
深度学习初学者通常可以从在包含数百到几千个良好标记示例的中等规模数据集上训练监督深度神经网络开始。清洁标记数据集指的是标签准确且一致，没有错误标记或模糊示例的数据。
相比之下，无监督学习是一种模型在没有任何显式标签或注释的情况下，训练识别数据集中模式的方法。它常用于聚类、异常检测和关联任务等场景，模型确定数据的内在结构以进行推理6。
自监督学习（SSL）是无监督学习中的一种特定方法，涉及在没有提供传统意义上标签的数据集上训练深度神经网络。在SSL中，模型通过伪任务生成自己的标签7。例如，模型可能被任务重建扭曲版本的图像或预测句子中缺失的单词。如今，**SSL常作为“预训练”深度神经网络的第一个步骤，随后通过监督学习进行“微调”**8,9。
第三类深度学习方法是强化学习。
强化学习系统涉及通过与环境互动以实现目标的决策的代理、实体或系统。随着时间的推移，代理根据来自环境的反馈学习最佳行为。
这种反馈是以数值奖励的形式，对于导致成功结果的行为给予奖励，对于不成功的行为给予惩罚。目标是让代理学习一种最大化累积奖励的策略。
强化学习可以自动化基于规则的程序，如计算机游戏10或无人机导航4。在癌症研究中，强化学习应用于一些特定领域，例如寻找个性化癌症筛查的最佳策略3或设计临床试验11。
2-2：神经网络架构
深度学习能有效处理如图像和文本等非结构化数据。
非结构化数据指的是缺乏特定模式且不遵循传统数据模型的信息12。使用计算机自动分析图像的学科称为计算机视觉，而专门用于分析和解释文本形式的人类语言的学科称为自然语言处理（NLP）。
在2010年代的大部分时间里，卷积神经网络（CNNs）一直是计算机视觉进步的核心13，而在NLP领域，长短期记忆（LSTM）网络及其相关架构被广泛使用14。LSTM网络以其处理序列数据的能力而闻名，由于它们能够记住长序列中的信息，因此比早期模型有了实质性的改进。
尽管它们有效，但LSTM网络有时难以处理高度复杂或延长的序列15。这一限制导致了在2020年代探索和采用替代架构，例如transformers，它们在某些NLP任务中更有效地解决了这些挑战16。
有趣的是，transformers也可以应用于图像，甚至在许多医学图像分析任务中胜过CNNs17,18。Transformers能够捕捉图像中的长距离依赖关系和全局上下文，而CNNs在设计上更多地局限于局部模式19。
截至2024年，transformers在图像和语言处理任务中代表了最先进的技术，展示了它们处理多样化和复杂数据类型的能力。特别是，与SSL结合的transformers推动了一场向所谓的基础模型迈进的运动。
2-3：深度学习在癌症研究中的应用
其分析非结构化数据的能力适用于许多实验分析结果的分析，如显微镜图像，以及研究和临床常规中的各种文本来源。深度学习还能有效处理其他复杂的数据类型，包括基因组信息。
在这些场景中，深度学习的使用主要有两种方式。
第一种是通过无需编程技能的用户友好工具，提供图形界面以便于使用。例如，QuPath或ilastik等软件提供了直观的界面用于分析显微镜图像，并且可以通过深度学习模型进行扩展，以执行细胞分割或分类等任务。
第二种，更高级的方法涉及使用Python等编程语言与深度学习架构（如CNNs或transformers）通过脚本进行交互。这种方法提供了更大的灵活性，但需要具备基本的编程理解能力。
深度学习算法还用于分析医疗成像数据，例如在MRI或CT扫描中检测肿瘤，其精确度可与经验丰富的放射科医生相媲美20,21。这项技术还协助识别遗传数据中的微妙模式22，从而理解癌症的遗传起源。
在药物发现中，深度学习可以通过分析体内（计算）和体外（实验）数据，更高效地筛选潜在化合物，从而加速发现新的癌症治疗方法23。此外，深度学习在组织病理学中用于分析组织样本，以惊人的准确度区分良性细胞和恶性细胞24，或直接从图像数据中提取临床可用的生物标志物22。
三、人工智能在生物医学图像分析中的应用
2010年代深度学习取得的突破，如CNN的发展和大规模标注数据集的可用性，使得基于计算机的图像分析能够应用于更复杂的任务。例如，深度学习出现之前的经典机器学习方法能够检测显微镜图像中的细胞。这些方法进一步应用于许多下游应用，如基于组织学切片中淋巴细胞的计数来进行癌症预后分析25。
20世纪90年代和21世纪初的早期计算机视觉工具依赖于手工设计的特征，如边缘检测、纹理分析和基于颜色的分割，这些方法需要专业知识，并且在不同数据集之间的泛化能力往往受限。
在分析患者样本中的微妙生物标志物属性时，几乎所有临床批准的系统都基于深度学习22。许多这些生物标志物基于简单的图像分类原则，这将在下文讨论。
3-1：细胞和分子成像分析
癌症研究者经常处理数字图像。
在基础研究的情况下，这些实验可能涉及视觉评估，如作为初步步骤视觉检查细胞培养的融合度、形态或生长，或通过明场或荧光显微镜等显微方法评估体内肿瘤生长。
许多生物学研究中的图像分析任务传统上是手动执行的，然而这不仅效率低下且容易出错，而且在必须分析成千上万的输出图像时，实验可能变得不可行。通常，通过使用深度学习来量化实验读数，分析可以变得更客观、可靠和快捷。
例如，在相位对比显微镜中细胞检测的背景下，深度学习可以快速且可靠地检测单个细胞，并将它们分类为活细胞或死细胞27。这类分析正在广泛使用，例如，通过Sartorius AG的Incucyte AI细胞健康分析软件模块等商业平台。
开源人工智能解决方案用于显微镜图像分析。
通常，用于基础科学研究、利用深度学习的商业软件只适用于常见和标准化的任务，如相位对比图像中的细胞计数。然而，开源社区已经为显微镜图像分析提供了数十种深度学习方法。
例如，QuPath28是一种常见的软件，用于查看千兆像素的显微镜图像，单个图像文件包含多个吉字节的压缩数据，它使非编程用户也能访问流行的深度学习模型进行细胞检测，如“stardist”26。同样，ImageJ29、ImageJ2（参考文献30）和Fiji31是生物学中许多图像查看和分析任务的标准工具，包括查看多通道、多维图像，甚至通过与Bio-Formats32集成，查看更不常见的文件格式，如CZI或MRXS（补充表2）。
在这些平台上，可以通过各种开源平台和插件运行预训练的深度学习模型。一些用于细胞分割、核分割或更专业任务（如电子显微镜图像中线粒体的分割）的预训练模型，可通过一系列开源平台获取。
对于许多专业的小众应用，没有现成的模型或平台可用。
在这些情况下，研究者最好基于深度学习构建自己的软件，并在开源许可下将其分发给其他研究者。例如，深度学习已成功用于几个学术研究小组的研究软件流程中，用于评估明场显微镜中的肿瘤类器官34,35。这些研究小组已将其软件以开源许可提供给其他研究者，促进了更广泛的采用和合作。
此外，一些高级生物成像技术，如从低分辨率或噪声数据重建高分辨率荧光图像，没有深度学习是无法高效执行的36。尽管ImageJ可以执行基本的图像重建任务，如拼接，但基于深度学习的方法可以通过学习去除噪声、提高分辨率和从可用数据中推断缺失信息，从而显著提高重建图像的质量。
通常，研究小组必须开发先进的计算方法，如自定义深度学习架构或新颖的训练策略，以解决没有通用解决方案的特定图像分析需求。这些自定义模型可以通过学习利用数据中的模式和关系来规避传统图像重建技术的局限性，这些模式和关系不容易被手工算法捕获。
四、组织病理学
在基础和转化癌症研究中，通过组织学17分析患者或动物模型中的肿瘤组织，以诊断和评估肿瘤。
肿瘤的组织形态学代表了肿瘤基因组、表观遗传组和环境中众多分子过程的结果。因此，将这些切片数字化为高分辨率、千兆像素图像至关重要。分析这些图像的挑战在于它们巨大的尺寸与详细的内容。这种复杂性常常超出了标准显微镜图像分析工具的能力，如ImageJ或Fiji29,31，特别是在处理大量数据时。
尽管ImageJ和Fiji提供了强大的图像处理和分析工具，包括创建宏和脚本以实现自动化工作流程的能力，但它们并未针对处理千兆像素图像或大型数据集进行优化。
其他软件，如QuPath，针对处理此类千兆像素图像进行了优化，但在病理图像分析中使用深度学习还有许多其他方法，如下所述。
计算病理学。
尽管数字病理学涉及获取、存储和查看这些图像，但分析被称为计算病理学。
从技术角度来看，在广泛应用深度学习模型之前，图像分析流程由一系列高度工程化的步骤组成，针对特定类型的分析量身定制。例如，一个机器学习模型将检测细胞，随后一个模型将细胞分类为不同的细胞类型，最后一个模型将根据这些测量预测患者预后25。
然而，由于整合多个处理阶段的复杂性，使用传统机器学习方法构建此类多步骤流程是困难的。这些任务的复杂性导致了基于深度学习的端到端模型的日益采纳，因为它们包含的步骤较少，并且依赖于较少明确定义的专家知识。它们使用深度神经网络，可以直接从原始数据中学习，无需不同的中间步骤即可生成输出。
计算病理学任务。
计算病理学可以应用于解决两种类型的任务。一种类型的任务包括复现人类对图像的评价，如计数细胞或测量组织大小。根据Echle37的说法，“基本”任务旨在简化目前仅由病理学家执行的常规工作流程。这些基本任务原则上可以由人类执行，但如果手工完成则既耗时又不可扩展38。
相比之下，高级任务，根据先前建立的定义22,37，包括直接从图像数据预测更高级别的属性，例如直接从苏木精和伊红（H&E）染色的组织中预测遗传改变37。一些遗传改变，如结直肠癌中的微卫星不稳定（MSI），与已知的形态学特征相关联，这在深度学习之前就已经知晓39。
然而，深度学习方法可以自动分析这些形态学特征，并通过观察常规病理切片对潜在的遗传改变进行定量预测。深度学习方法重新发现了基因型与表型之间的已知联系18,40,41，因此理论上可以扩展到检测许多其他具有未知形态学表现遗传改变的新的基因型-表型联系。
各种研究表明，单个基因的突变状态42-48、DNA修复机制缺陷如MSI18,40,49-51和同源重组缺陷52，或肿瘤突变负担53-55都可以通过深度学习从H&E切片中预测。此外，这些模型能够区分上皮和间质肿瘤区域内的形态学模式，或在不需要针对受体的免疫组化或免疫荧光的情况下预测乳腺癌样本中的激素受体表达状态42,56-58。
总之，将深度学习应用于病理学表明，可以从基本的H&E图像中识别肿瘤的分子特性。
从图像中识别和量化生物标志物。
基于计算机的图像分类方法可以根据视觉内容将图像分类或归类到不同的组别。这在医学图像分析领域尤其显著，特别是在组织病理学中，图像分类方法用于根据癌细胞的是否存在将组织病理学图像区分开59。
例如，深度学习可用于识别H&E染色的组织切片中的肿瘤59。图像分类的应用扩展到更复杂的任务，这些任务被称为高级计算病理学任务22,37,38。
例如，将组织病理学图像分类以直接从图像预测高级属性，如分子改变40,44、未知原发肿瘤患者的肿瘤来源60、患者生存61,62或患者对免疫治疗的反应63。这些高级计算病理学任务展示了深度学习从组织病理学图像中直接提取临床相关生物标志物的潜力。
通过学习识别图像数据中的复杂模式和关联，深度学习模型可以识别与特定分子改变、肿瘤类型、患者结果或治疗反应相关的视觉特征。因此，图像分类方法不仅辅助诊断过程，而且有助于开发预测性生物标志物，为个性化治疗策略提供宝贵见解64。
4-1：商用和自定义构建的深度学习工具在计算病理学中的应用
商用软件如QuPath28提供了一些基于深度学习或机器学习的分析能力（补充表2），包括自动组织分割、肿瘤检测和分类。通过使用脚本，QuPath还允许用户训练自定义模型以识别特定细胞类型或量化生物标志物。
此外，QuPath支持集成外部机器学习模型，使用户能够应用高级算法进行复杂分析，而无需训练任何新模型。尽管QuPath为基本计算病理学任务提供了用户友好的界面，但大多数专注于在组织病理学中应用AI的高级研究小组通常使用自行开发的Python编写的流程。
此外，研究人员通常开发自己的工具进行数据标注或结果可视化，但也可以使用现有工具；在过去3年中，为癌症研究中的计算病理学出现了几个多功能的开源软件包，其中许多已被广泛重用。这些包括基于通用数据处理和机器学习框架构建的FastPathology65、TIAToolbox66、CLAM67和STAMP68，如PyTorch69、MONAI70、OpenSlide71和LibVips72（补充表1）。
非计算癌症研究人员会发现，先熟悉Python编程，然后完成基于Python的图像处理的基本课程后再深入研究计算病理学流程库的文档和应用会很有帮助。
4-2：计算病理学中的挑战
计算病理学不仅产生了实际有用的工具，而且通过可解释性方法73还能产生新的科学见解。这些方法帮助我们理解哪些形态学模式与深度学习系统的预测相关74。
然而，可解释AI方法仍有限制，因为为深度学习流程增加可解释性功能并非易事。这是因为大多数深度学习模型本质上是复杂且不透明的，拥有数百万个参数和多个非线性变换，使得从输入到输出的决策过程难以追踪。
为现有深度学习流程添加可解释性需要精心设计的技巧，如注意力机制、显著性图或概念激活向量，这些技巧可以突出输入数据中对模型预测有贡献的相关区域或特征。开发和集成这些技巧到生产就绪的计算病理学工作流是一个非平凡的任务，需要深度学习和可解释AI方面的专业知识。
此外，AI基于工作流程在癌症组织病理学中的实际临床应用受到北美和欧洲病理学数字工作流程缺乏75的限制。监管和伦理考虑、在现有工作流程中的集成挑战，以及AI可解释性和医疗专业人员之间的信任问题进一步限制了这一应用。
五、放射学
临床放射学用于诊断、治疗和监测治疗反应，可包括用于癌症检测的CT、MRI或正电子发射断层扫描（PET）。与组织病理学不同，放射学产生的图像本质上是数字化的，因此不受数字化过程的限制。
计算机视觉模型与放射学的整合显著提升了该领域的分析能力，彻底改变了研究人员分析和解释放射性图像的方式。这为提高诊断准确性、个性化治疗方案和对癌症的深入理解铺平了道路。
传统的机器学习模型通常依赖于预先定义的手工制作放射组学特征，已在识别成像数据中人类肉眼不易察觉的模式和特征方面取得了相当的成功。同时，处理原始放射学数据的深度学习模型，通过自动识别相关特征而无需手动干预，提供了一种更灵活的方法。这种能力在处理大量数据时尤其有价值，深度学习模型能够在图像中揭示复杂的模式和关系。
试图将手工制作的先验知识注入任何机器学习系统中的效果，不如无假设或数据驱动的深度学习方法有效，后者随着更多数据的使用而表现卓越，最终超越手工制作的工作流程。
换言之，随着可用数据的增加，自动从数据中学习相关特征的深度学习模型往往超越依赖于基于先验知识手动设计特征的模型。在放射学中，大量数据使得深度学习通常优于传统的机器学习方法，如手工制作的放射组学76,77。
然而，在某些情况下，经典机器学习可以提供深度学习所不具备的优势。在数据有限的情况下（只有几十到100个病例可用），深度学习模型从数据中学习的高能力可能导致过拟合，因此使用更简单“特征”如肿瘤大小和形状的机器学习模型可能更为可靠。
总的来说，选择适合问题的方法是重要的，只有对方法论原则和数据有深入理解，才能做出适当的决策。
在放射学中应用AI：关键考虑因素和方法。
将机器学习或深度学习模型应用于医学成像时，一个关键步骤是预处理数据，以减少同一成像模态内不同采集协议引起的变异性。这包括标准化图像参数如切片厚度和体素大小，降低噪声和归一化信号强度78。随后，可以使用预定义的算法从放射性图像中提取深入信息，这些算法计算标准化的放射组学特征79。
这些手工制作的参数，也称为工程化放射组学特征，是使用数学算法从医学图像中提取的，旨在量化图像的特定方面，如信号强度、纹理和形状79,80。这些特征提供了关于体素密度或信号强度（取决于图像模态）的有价值信息，并提供了关于感兴趣区域（ROI）大小和形状的见解。
在众多用于从医学图像中提取手工制作放射组学的算法中，Pyradiomics是一个广泛使用的Python包80。要使用它，用户首先需要安装Pyradiomics并将其必要的库导入Python。接下来，设置特征提取器以满足特定需求，包括图像预处理和特征选择选项。
加载医学图像及其关联的分割掩模（勾勒出ROI）后，用户可以继续从ROI中提取放射组学特征。这个可自定义的过程允许根据研究需求进行定制。使用通常与经典机器学习模型（即深度学习架构出现之前的模型，如逻辑回归、支持向量机（SVMs）或随机森林）结合的手工制作放射组学特征可以训练以测试各种假设。
然而，重要的是要记住，应用手工制作的放射组学需要细致的图像标注，例如在癌症研究中勾勒出与肿瘤对应的ROI。这个过程通常由专家放射科医生手动完成。尽管一些软件，如3D Slicer81或ITK-SNAP82，提供了简化此过程的工具，但它仍然是一个极其耗时的任务。
5-1：深度学习在放射学中的应用
深度学习在医学影像分析中提供了一种强大的方法。
与传统的手工特征提取方法不同，深度学习模型能够直接从图像数据中自动学习相关特征62,83,84。这种能力在提高图像质量的同时减少了采集时间85,86。
近年来，通过大规模训练，放射学中的深度学习变得更加稳健，现在能够从全身扫描中精确描绘身体的每一个器官，从而在医学成像中设定了新的标准87。
目前，几种计算机辅助系统正在用于增强放射学影像分析，例如，作为提高肺癌（如aview LCS, syngo.CT Lung CAD, Samsung Auto Lung Nodule Detection和InferRead CD Lung）和乳腺癌（如breastscape v1.0和MammoScreen在筛查计划中）检测的医疗设备，以及脑肿瘤诊断88。这些AI支持的放射学影像分析在肿瘤筛查中的应用已在大型前瞻性临床试验中得到验证89。
此外，机器学习和深度学习模型在识别放射学成像中的微妙癌症模式方面也显示出巨大的潜力，这些模式与特定突变相关，并可能与不同治疗反应的可能性有关，这在临床前和临床设置中都是如此90–94。
由于临床前实验通常涉及较小的数据集，通常只有几十只小鼠，而临床试验中有数百名患者，一些应用考虑将图像的每个体素作为输入，这有助于减轻深度学习模型因数据有限而面临的挑战95。这种体素级方法通过将每个体素视为一个独立的数据点，允许进行更详细的分析，可能增加对研究中相关微妙特征敏感性。这种方法与使用整个图像作为信息来源形成对比。
分析整个图像允许整合上下文和空间信息。再次强调，对现有工具的了解（不一定具备实现所有工具的编程技能）有助于研究人员寻找最适合他们手头问题的分析工具。
六、生物医学影像分析中的基础模型
基础模型使用自监督学习（SSL）在大型、多样化的数据集上进行了预训练。
基础模型可以使用任何类型的数据进行训练，包括图像或文本或两者兼有。这些模型的目标是学习可以应用于广泛任务的一般特征和模式，而不是从零开始为特定任务进行训练。
例如，使用不同条件下的各种显微镜图像，包括明场和荧光成像，来训练基础模型。这些模型在它们训练的数据中学习一般特征和模式；例如，一个在显微镜图像上训练的模型学习了关于强度、形状和结构关系的信息。这种预训练使得模型能够捕捉数据的广泛理解，然后可以使用较小的标记数据集对其进行针对特定任务的微调。
自2020年代初，基础模型在生物医学影像分析中崭露头角，得益于SSL的出现96。基础模型通常用作起点，然后使用较小的标记数据集进行微调，产生更专注、专业的模型。在医学影像分析中，这个过程可以为任何任务产生更好的模型，例如图像分类任务8,18,97。类似的基础模型正在为其他医学成像模态开发，包括跨模态应用（图1d）。
跨模态应用指的是能够处理和整合不同数据类型信息的AI系统，例如将放射学图像与临床笔记或病理学图像与基因组数据结合98，或者一般而言，图像和文本的结合97。这需要大量的计算能力和工程资源，以及广泛数据集的访问。
理想情况下，需要一个拥有多个甚至数十个图形处理单元（GPUs）的计算集群。在2023年，各研究小组和商业实体发布了开源的基础模型，使得这些模型广泛可用97,99–101。
总之，基础模型的兴起标志着癌症研究的一个进步96，这已经在相关任务的实际性能提升中得到了体现，使得用更少的数据训练更有效的模型成为可能97,101,102（图2a,b）。
利用这些模型仍然需要Python编程技能，但未来的发展可能会进一步商品化这项技术，使其对编程能力有限或没有编程能力的研究人员也可用。
七、自然语言处理（NLP）与人工智能
自然语言作为非结构化数据，其计算机分析一直极具挑战性。
自2020年代初以来，大型语言模型（LLMs）的出现显著提高了计算机方法在NLP方面的能力，目前已成为处理任何文本的最先进方法103（图3a）。
NLP是人工智能中的一个广泛领域，专注于计算机与人类语言的交互，而LLMs是用于NLP任务的一种特定类型的深度学习模型。基于Transformer架构的LLMs近年来已成为NLP中最受欢迎且有效的方法。LLMs属于生成式AI，这意味着它们不仅可以重述、总结或翻译文本，还可以合成新文本。
LLMs的日益普及和标准化使得NLP方法更加易于获取，使得非专家能够使用现成的模型解决NLP任务，例如OpenAI的chatGPT。除了存储和检索知识外，LLMs还能对文本进行推理104,105，能够翻译和风格化改变文本，并能从放射学报告106、病理学报告107和医疗笔记108中提取结构化信息。
LLMs还具备医学知识109，并可以利用这些知识，例如，基于影像报告给出医疗建议110。这些功能在依赖文本的癌症研究中尤为重要——从记录初始想法和实验数据到交流见解和传播科学发现（图3b）。
LLMs的到来开启了癌症研究中的无数应用，许多应用才刚刚开始被探索103。
研究人员现在可以利用这些现成的模型进行各种任务：解析和提炼他们的想法，总结实验笔记，推理复杂概念，获取新技能，浓缩文件以及更有效地传播研究成果103,105,113,114。
随着NLP的进一步发展，我们不断发现新的用途，每个用途都有潜力提高学术研究的效率和范围，并最终改变肿瘤学的临床实践115。值得注意的是，LLMs标志着与传统机器学习方法的分道扬镳，因为经典机器学习需要特定数据集来解决问题，随后在这些数据上训练模型并进行评估。
像OpenAI的流行“生成式预训练Transformer（GPT）”模型，包括chatGPT背后的模型，本质上属于基础模型96。这些模型通过使用自监督学习（SSL）116在包括医学和科学文本在内的广泛领域的大型文本语料库上进行训练，积累了广泛的知识基础。
因此，研究人员通常不会从头开始重新训练这些模型，因为这需要巨大的计算资源。相反，基础LLMs通常以零样本方式直接应用于研究任务。
零样本应用。
最普遍的方法称为零样本应用，在这种方法中，LLM直接用于任务而无需之前在任何训练示例上的特定训练104。例如，研究人员可以通过将文本输入LLM来结构化或总结他们的非结构化笔记，LLM处理文本并返回摘要。
零样本应用的效力依赖于提示工程117。有效地构建提示可以显著提高结果，而无需额外的数据或算法调整。在医学应用中，零样本方法已用于总结非结构化的放射学报告106、病理学报告107或临床笔记108,118；
此外，还用于基于放射学影像提供治疗建议或回答医学检查问题109。零样本应用在简单任务上通常效果良好，在这种情况下，它可以说是使用LLM最简单快捷的方式。
超越零样本应用。
当零样本应用不足时，研究人员可能会求助于少量学习，这涉及向LLM提供几个示例以展示所需的任务。少量学习可以在不重新训练模型的情况下实现。使用LLMs进行少量学习最方便的方式是上下文学习。
在这里，示例作为提示的一部分传递给模型119。例如，使用LLM以特定风格格式化科学引文的研究人员可以提供模型一些这样的引文示例。LLM然后将能够重新格式化新的引文，使用提示中的知识，而无需以传统方式进行重新训练。
上下文学习受模型最大输入大小的限制，对于许多模型来说，这个大小不超过几十页的文本。另一种为模型提供上下文的常见方法是检索增强生成（RAG）。在RAG中，LLM可以将文档嵌入到向量表示中，并在稍后提示时访问此信息120。RAG不受文档大小限制，并通过编程接口或面向用户的在线工具方便地提供。RAG可以用于将数百页文本的文档提供给LLM，并使其基于文档中的知识回答问题。
最后，如果因为LLM没有足够的专业知识导致这些方法不成功，最后的手段是使用自定义数据集对LLM进行微调。例如，专门针对医学的LLM NYUTron是在大约750,000名患者的常规临床笔记上进行训练的，能够预测临床结果121。
八、大型语言模型（LLMs）的使用方法
大型语言模型通常在数据中心的服务器上运行，用户可以通过网页界面、移动应用程序或通过应用程序编程接口（API）来访问它们。例如，GPT-4（由OpenAI开发）、Gemini 1.5（由Google开发）和Claude 3（由Anthropic开发）是高度先进的大型语言模型，通常通过网页界面访问104,124。
LLMs正日益渗透到我们日常生活的许多方面。它们被嵌入到更专业的软件中，如在办公软件中创建演示文稿，在电子邮件软件中起草回复、优先处理收到的消息或总结邮件线程，或在任务管理软件中生成任务描述、设置提醒或提供任务优先级建议。
未来，LLMs可能会被嵌入到许多类型的科学软件中，例如实验室笔记本管理软件或许多其他类型的软件，以管理研究中的日常工作流程。
与LLMs互动有多种方式。
首先，许多最先进的模型，如GPT-4、Gemini 1.5或Claude 3，由技术公司拥有和运营，可以通过这些公司提供的在线浏览器界面或移动应用程序访问。这种方法适合那些偏好直接且易于使用的界面。
其次，可以使用API，这允许在特定项目或工作流程中实现更大的灵活性和集成。第三，可以使用启用LLM的软件，如you.com。这些平台将LLM与额外的功能（如集成搜索能力和数据可视化与分析工具）相结合，为寻求增强体验和高级功能的用户提供了一个更全面的工具集125。
然而，并非所有LLMs都运行在大公司的服务器上。开源LLMs的生态系统日益活跃，包括Llama126、Mixtral及其许多衍生模型，这些模型可在Hugging Face网页门户上获得。
在这里，许多开源LLMs可供使用，它们可以在标准商业硬件上运行，并本地用于生物医学文本处理108。这允许研究人员控制自己的数据并确保机密性，因为数据不需要上传到外部服务器。
九、人工智能的新兴应用
9-1：多模态人工智能
多模态数据融合。
深度学习的一项新兴且根本性的改进在于有效处理和整合来自不同模态的信息的能力127。例如，在癌症组织病理学中，一些视觉模式只有在额外信息的背景下才能由人类或计算机解释。
凭借当前的技术能力，现在可以将多种数据类型作为单个深度学习系统的输入。在癌症研究和临床诊断中，通过将图像数据与附加的上下文信息相结合，可以提高分类或预测的准确性，因为图像通常在附加数据的背景下进行解释。
最近的研究已经在组织病理学图像处理等癌症相关任务中，将少量表格数据（如患者的诊断、年龄和性别）与图像数据结合，以提高深度学习模型的性能128。同样，在放射学图像处理中，将临床数据与图像结合已被证明可以提高基于深度学习的诊断准确性83。
此外，将H&E染色切片与免疫组化染色切片作为单个深度学习系统的联合输入，可以更好地预测个别患者的风险129。更进一步，深度学习系统可以整合基因组数据与常规病理学数据48，这在提供空间分辨率和分子细节方面尤其有用。
多项研究表明，空间（图像）和非空间（分子）数据之间的这种协同作用可以被多模态深度学习系统利用48,127,130,131。
对于刚进入多模态深度学习领域的非计算癌症研究人员来说，理解数据可用性是首要挑战至关重要。
在实践中，获取超过几百名患者的多模态数据通常极其困难。因此，所有可用的匿名数据应与共同的病人识别符一起安全地存储在适当的存储库中，以备未来多模态深度学习探索性研究的潜在使用。
视觉LLMs。
视觉LLMs与多模态数据融合的不同之处在于，它们在包含文本和图像的大型、多样化数据集上进行了预训练，能够同时处理和生成两种模态。
相比之下，多模态数据融合通常涉及使用针对特定任务设计的深度学习模型，这些模型是从零开始训练的或从预训练的单模态模型中微调的，以结合不同类型的数据（例如，图像、文本和基因组数据）。
视觉LLMs为多模态学习提供了更通用和灵活的方法，因为它们只需进行最小程度的微调就可以应用于广泛的任务，而多模态数据融合模型通常是为特定应用而设计和优化的。
具有视觉能力的LLMs，如Claude 3或GPT-4，可以处理图像数据和文本。这种视觉LLMs在癌症研究中的应用已经得到了探索132。开源LLMs，如Llava133及其医学专家模型Llava-Med134，在生物医学图像分析中展示了有希望的能力。
另一个例子是PathChat135，这是一个为病理学家设计的聊天机器人。PathChat建立在视觉LLM架构之上，可以与病理学家进行互动讨论，提供洞察并回答与特定专业用例相关的问题。这些技术进步大多发生在2023年和2024年，预示着人工智能在癌症研究中的动态未来。
随着视觉LLMs的继续发展和变得更加易于获取，它们在整合多种数据模态和支持癌症研究的各个方面，以及最终在肿瘤学临床实践中，可能会发挥越来越重要的作用。
9-2：分析基因组与蛋白质组
LLMs不仅在处理自然语言方面表现出色，还可以应用于任何生物序列数据。
基因组序列数据是LLM-likeTransformer模型可以解释的另一种“语言”。在基因组数据分析领域，存在不依赖于LLMs或深度学习的经典生物信息学流程，这些流程是从原始测序读数中提取科学上相关或临床上可操作信息的最新技术136–138。这些流程工作良好且易于理解，因此没有迫切需要用深度学习来替代它们。
然而，深度学习可能还会发现更微妙的基因组签名，如特定的DNA损伤签名139。在基因组数据分析中使用深度学习的论点是，为多模态模型打下基础48。除了解析基因组序列，深度学习已在分子生物学中的许多专门任务中得到应用，包括预测感兴趣的基因发生抗原呈现的可能性140。
使用深度学习从其基因组序列准确预测蛋白质的三维结构的模型，即AlphaFold模型141，解决了生物学中的一个数十年难题。这使一系列下游应用成为可能142，如预测所有可能的human单氨基酸变化的错义预测143或分析所有已知蛋白质的相似性144。
9-3：药物发现与临床试验优化
机器学习在药物发现领域的应用已有数十年历史145，然而，近期大型Transformer模型的成功使得基于人工智能的工具在药物发现领域备受关注。
例如，AlphaFold等深度学习模型在预测蛋白质结构方面极为高效，这可能是药物发现中有用的工具。这些模型可以扩展到预测潜在药物候选物与蛋白质的功能区域的结合，并探索蛋白质的巨大组合景观，其中许多可能具有宝贵的治疗性质146。其他深度学习模型可以训练生成具有特定性质的具体化合物，包括小分子147，以及RNA或蛋白质148。
近期研究表明，深度学习模型能够识别与抗生素活性相关的化学亚结构，从而预测新的抗生素类别和物质149,150。这种方法已用于评估数百万种化合物，识别出具有潜在抗生素性质且对人类细胞毒性低的化合物。
值得注意的是，在测试的化合物中，有些对耐药细菌显示出有效性。此外，机器学习方法已用于模拟不同药物之间的潜在协同作用151。
另一种方法是使用LLMs在药物研究中导航知识图谱，从而使研究人员能够更快、更有效地探索现有空间152。知识图谱是信息的结构化表示，它捕获实体（如化合物、蛋白质和疾病）以及它们之间的关系（如药物-靶标相互作用或疾病-基因关联）。
通过使用存储在这些知识图谱中的大量经过策划的信息，LLMs可以帮助研究人员识别潜在药物候选物，预测药物-药物相互作用或为现有药物寻找新适应症。基于AI的工具不仅影响了药物发现中的计算研究，一项近期研究建议，可以将LLM与机器人系统结合，以执行独立的化学实验153。
在药物开发公司自2020年代初以来的迅速增长背景下，与大型制药公司的合作凸显了这些技术的商业潜力157,158。然而，关于AI在药物设计中的能力的许多说法源自这些公司，可能引入了潜在偏见。AI-based工具在缩短从药物初步概念到临床试验和最终药物批准路径方面的真正效果，仍需通过实证研究来证明。
在候选药物开发完成后，它需要进入临床试验阶段，目前90%的临床试验未能达到临床实施159。基于AI的工具在多个层面上具有改善这一现状的潜力160。例如，AI可以优化试验招募，通过细化入选标准和提高候选人识别、筛选和纳入的效率。
此外，LLMs可以解析电子健康记录（EHR）数据，并自动标记特定试验的候选人161。同样，能够从病理切片预测遗传改变的深度学习模型，可以帮助更快地识别试验的候选人17。由于使能技术仍然新颖，对这些方面的实证研究较少；当代LLM GPT-4仅在2023年发布。
此外，AI在医学成像中的应用可能有助于识别早期迹象的即将进展，从而在结直肠癌和肺癌的治疗决策方面，比基于肿瘤大小的主观描述提供更好的辅助162,163。
为了实施和验证这些新兴的AI应用在基因组学和药物发现中的性能，独立的科学评估和严格的临床试验是必要的。如果药物发现的AI模型是开源的，那么独立研究人员可以测试并改进其性能，这将是有益的。
十、结论
将人工智能应用于癌症研究的一个关键挑战在于挖掘肿瘤学领域真实世界数据（RWD）的潜力，这包括电子健康记录（EHRs）、医学影像、肿瘤样本和血液检测164。
与遵循明确定义的协议前瞻性收集并易于访问数据库的结构化临床试验数据不同，RWD通常是非结构化的、异质性的，并且散布在不同的系统中。EHR系统对于真实世界基于AI的系统而言是一个特别有趣的数据源121,165,166。
基于AI的常规临床数据分析也对于个性化医疗抱有希望。推进精准肿瘤学将需要开发更多、更准确的生物标志物来预测治疗反应，识别癌细胞中的新可药物靶点，以及加速药物开发平台以简化靶点与药物的匹配。在此，AI可以揭示分子剖析中的隐藏模式以推进这一进程。
尽管AI已被广泛用于揭示与临床结果相关的肿瘤分子剖析模式，如预后和疗法反应167，但将这些发现转化为临床实践仍是一个挑战。这部分是由于癌症生物学的复杂性、患者群体的异质性，以及AI衍生生物标志物和药物靶点需要严格的验证。
为了充分发挥AI在推进精准肿瘤学中的潜力，需要解决几个关键挑战。
这些挑战包括多模态数据（例如，成像、基因组学和临床数据）的整合，可解释和透明AI模型的发展，以及数据共享和模型验证标准的建立。
此外，AI研究人员、癌症生物学家和临床医生之间的更紧密合作将至关重要，以确保AI-based工具具有临床相关性，并与患者和医疗服务提供者的需求保持一致。由硬件和算法的显著改进推动的AI的快速进步，预示着一个令人兴奋的未来。
建议癌症研究者熟悉这些工具，并发展对当代AI的潜力和局限性的直觉，以便他们能够在一个AI-based工具普遍使用的世界中导航。