nature methods| 多模态细胞精准分割！

文章摘要

细胞分割是显微镜图像中进行定量单细胞分析的关键步骤。现有的细胞分割方法通常针对特定模态或需要手动干预来指定不同实验设置中的超参数。**在这里，作者提出了一个多模态细胞分割基准，包括来自50多个不同生物实验的1,500多个标记图像。**排名靠前的参与者开发了一种基于Transformer的深度学习算法，不仅超越了现有方法，而且可以应用于不同成像平台和组织类型的多样显微镜图像，无需手动参数调整。这一基准和改进的算法为显微镜成像中更准确和多功能的细胞分析提供了有希望的途径。

论文地址：

https://doi.org/10.1038/s41592-024-02233-6

代码地址：

https://neurips22-cellseg.grand-challenge.org/

前世今生

细胞分割是生物图像分析中普遍需要的基本任务，在许多不同的实验设置和成像模式下都需要进行。例如，在基于多重荧光图像的癌症微环境分析中，细胞分割是识别肿瘤亚型、组成和组织的先决条件，这可以带来重要的生物学见解。然而，由于显微镜图像中观察到的广泛多样性，开发通用和自动的细胞分割技术仍然面临重大挑战。这种多样性源于细胞来源、显微镜类型、染色技术和细胞形态的变化。最近的进展成功地证明了针对特定显微镜图像类型和细胞类型进行自动和精确的细胞分割的可行性，例如荧光和质谱图像、差分干涉对比图像、细菌图像和酵母图像，但是对于传统生物学实验室中非专家用户来说，选择合适的分割模型仍然是一项非常困难的任务。

已经努力开发了通用细胞分割算法；然而，这些算法主要是使用由灰度图像和双通道荧光图像组成的数据集进行训练的，缺乏足够的多样性以确保在广泛的成像模式下具有健壮的泛化能力。例如，分割模型在处理RGB图像时面临困难，比如使用Jenner-Giemsa染色的骨髓抽吸幻灯片。此外，这些模型通常需要手动选择模型类型和要分割的特定图像通道，对计算能力有限的生物学家构成挑战。除了直接使用大规模标记数据集训练通用细胞分割模型之外，基于迁移学习的算法是通用解决方案的一种补充分支，允许生物学家快速在自己的显微镜图像上训练定制模型。一个典型例子是Cellpose 2.0，它展示了将预训练模型调整到新图像的有效性。值得注意的是，它只需要500-1,000个用户注释的图像块就能达到与使用数千个图像块训练的模型相当的性能。

生物医学图像数据科学竞赛已经成为加速先进算法开发的有效途径。已经专门为显微镜图像分析组织了几次成功的竞赛，例如细胞追踪挑战（CTC）、数据科学碗（DSB）挑战和结肠核仁识别和计数（CoNIC）挑战。这些竞赛在加速现代机器学习和深度学习算法在生物医学图像分析中的应用方面发挥了关键作用；然而，值得注意的是，这些挑战主要集中在有限的显微镜图像类型上。例如，CTC主要集中在无标记图像上，因此排除了多重免疫荧光图像等染色图像。类似地，DSB挑战强调了在荧光和组织学图像中的细胞核分割，而忽略了相差显微镜（PC）和差分干涉对比（DIC）图像。CoNIC挑战中的分割任务也仅限于在血液和苏木精-伊红染色图像中的细胞核分割。因此，通过这些竞赛开发的算法通常只适用于处理特定类型的显微镜图像，限制了它们的泛化能力。此外，这些挑战中使用的评估指标主要重视分割准确性，而忽视了算法效率。因此，追求更高的准确性评分往往会导致采用计算密集型的方法。例如，CTC表现最佳的算法使用了针对细胞分割任务中每个数据集的定制模型，而DSB获胜算法使用了32个模型的集合。这种资源密集型的策略阻碍了这些算法在生物实践中的广泛应用。

为了克服上述限制并促进显微镜图像通用和高效的细胞分割方法的发展，作者倡议在神经信息处理系统（NeurIPS）会议上组织了一次全球挑战。作为人工智能领域最大的国际会议之一，NeurIPS为此举提供了一个理想的平台。挑战参与者获得了一个多样化的训练集和一个单独的调整集，以开发和完善他们的细胞分割算法。在测试阶段，参与者需要将他们的算法打包成Docker容器，使挑战组织者能够在相同的计算平台上仔细策划的保留测试集上对其进行评估。值得注意的是，保留测试集包含了来自新生物实验的图像，旨在评估算法对以前未见数据的有效泛化能力。此外，测试集还包括两个全切片图像（WSIs），作为评估算法适用于处理大规模图像的手段。与现有挑战集中在特定显微镜图像类型的挑战不同，这一举措代表了细胞分割算法首次被挑战以有效处理广泛的显微镜图像谱，并且不需要手动干预即可泛化到新图像。

卓越性能

图1 | 挑战任务和流程概述。a，挑战旨在促进开发通用细胞分割算法，这些算法可以在不需要手动干预的情况下分割各种显微镜图像。b，挑战包含两个阶段。在开发阶段，参与者基于1,000张标记图像和1,725张未标记图像开发自动分割算法。算法可以在包含101张图像的调整集上进行评估，并且在线评估平台会自动返回定量性能。在测试阶段，每个团队可以通过Docker容器提交一个算法作为最终解决方案，该算法将在包含422张图像的保留测试集上进行独立评估，以获得排名结果。

图2 | 数据集概述。a，挑战提供了一个多样化的显微镜图像数据集，包括组织细胞、培养细胞、无标记细胞、染色细胞和不同类型的显微镜（明场、荧光、相差显微和差分干涉对比）。b，数据来源和挑战参与者的地理分布。红色、绿色、紫色和蓝色地址图标分别表示明场、荧光、相差显微和差分干涉对比图像数据集来自的国家或地区。每个国家中粉色圆圈的大小与该国家中参与者的数量成比例。c，训练集中图像的数量。d，训练集中标记细胞的数量。e，训练集（第一行）和测试集（第二行）中随机选择的示例（从左到右依次为明场、荧光、相差显微和差分干涉对比图像）。f，测试集中图像的数量。g，测试集中细胞的数量。测试集中包含两个荧光全切片图像。

表1 | 前三名表现最佳算法的特征在预处理、数据增强、网络架构和后处理方面

Fig. 3 | 28种算法在保留测试集上的评估结果。a，测试集上（n=422个独立图像）F1分数的点图和箱线图。箱线图显示了所有测试案例的描述性统计数据，其中水平线表示箱子内的中位数值，下四分位数和上四分位数界定了箱子的边界，垂直黑线表示1.5×IQR。b，排名靠前的算法在分割准确性（y轴）和效率（x轴）之间取得了良好的平衡。圆圈大小与GPU内存消耗成正比。c，成对显著性检验结果（单侧Wilcoxon符号秩检验）显示，获胜算法显著优于其他算法。d，基于自举抽样的可视化排名稳定性的Blob图。每个Blob的中位面积与在1000次自举样本中获得的排名相对频率成正比。每个算法的中位排名由黑色十字表示。自举样本间的95%自举区间由黑线表示。e，获胜算法在五种不同的排名方案中均保持第一名。f，高Kendall’s tau分数表明排名结果稳定。小提琴图显示了描述性统计数据，其中水平实线表示箱子内的中位数值，水平虚线表示平均值，下四分位数和上四分位数界定了箱子的边界，垂直黑线表示1.5×IQR。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】