Résumer:
Dans le modèle SAM actuel, dans le domaine des images médicales, les points et les cases sont principalement utilisés comme invites à la segmentation. Actuellement, les descriptions textuelles sont rarement utilisées comme invites pour la SAM.
Mais dans le domaine des images naturelles, txet est légèrement plus utilisé comme invite.
1 SAMM (Segment All Medical Model) : point d'utilisation 3D Slice intégré à SAM
SAMM (Segment Everything Medical Model) : L'intégration du modèle de segmentation SAM avec 3 Slicer peut aider les chercheurs à développer et à vérifier le potentiel de migration de grands modèles de langage vers le domaine de l'analyse d'images médicales. Cet article a vérifié que la segmentation médicale peut être réalisée dans presque en temps réel avec une latence de 0,6 seconde. Capacité d'image, le code vient d'être open source ! Unité : JHU
Segment Anything Mode ! (SAM) est un nouvel outil de segmentation d'images formé à l'aide du plus grand ensemble de données de segmentation disponible. Le modèle a démontré qu’il peut créer des masques de haute qualité pour la segmentation d’images avec une bonne généralisabilité. Cependant, les performances du modèle sur les images médicales nécessitent une validation plus approfondie. Pour faciliter le développement, l'évaluation et l'utilisation de SAM sur des images médicales, nous introduisons Segment Any Medical Model (SAMM), une extension de SA sur 3D Slicer. Il s'agit d'un logiciel open source de traitement et de visualisation d'images largement utilisé. A été largement utilisé dans la communauté de l’imagerie médicale. Cette extension open source pour 3D Slice et sa démo sont publiées sur GitHub (cette URL https). SAMM atteint une latence de cycle complet de 0,6 seconde et peut déduire des masques d'image en temps quasi réel.
<SAMM (Segment Any Medical Model):A 3D Slicer Integration to SAM)
code : GitHub-bingogome/samm:A3 D Slicer Integration t…
démo : https://www.youtube.com/watch?v=vZK45noZVIA
2 SAM sur les images médicales : une étude approfondie de trois modes d'invite
Auto-point-box
Afin d'évaluer si SM a le potentiel de devenir un modèle de base pour les tâches de segmentation d'images médicales, cet article a collecté plus de 12 ensembles de données d'images médicales couvrant divers organes et modalités, et a exploré quels indices peuvent être utilisés dans différentes modalités. ... obtenez les meilleures performances sans tir. Unité : Hôpital de Chine occidentale de l'Université du Sichuan, Shanghai ILāb,
Segment de l'Université des postes et télécommunications de Pékin. Le modèle Anything (SAM) a récemment fait ses débuts, attirant de nombreux chercheurs pour explorer le potentiel et les limites de sa capacité de généralisation à échantillon nul. En tant que premier modèle de base suggérable pour les tâches de segmentation, il est formé sur un vaste ensemble de données avec un nombre sans précédent d'images et d'annotations. Cet ensemble de données à grande échelle et sa facilité d’utilisation confèrent au modèle de fortes capacités de généralisation sans tir. Bien que SM ait montré des performances compétitives sur plusieurs ensembles de données, nous aimerions étudier sa généralisation sans tir sur des images médicales. Comme nous le savons, l’acquisition d’annotations d’images médicales nécessite souvent des efforts considérables de la part des praticiens professionnels. Par conséquent, s’il existe un modèle de base capable de fournir des prédictions de masque de haute qualité simplement sur la base de quelques conseils, ce modèle changera sans aucun doute la donne pour l’analyse d’images médicales. Pour évaluer si SM a le potentiel de devenir un modèle fondamental pour les tâches de segmentation d'images médicales, nous avons collecté plus de 12 ensembles de données d'images médicales publiques couvrant divers organes et modalités. Nous explorons également les astuces qui permettent d'obtenir les meilleures performances de tir nul dans différents modes. De plus, nous trouvons une tendance indiquant que les perturbations de la taille de b0x modifieront considérablement la précision des prédictions. Enfin, des expériences approfondies montrent que la qualité prévue du masque varie considérablement entre les différents ensembles de données. Fournir à S8M des indications appropriées, telles que des cadres de délimitation, améliorera considérablement ses performances.
SAM sur les images médicales : une étude approfondie sur trois modes d'invite
3 Modèle de segmentation (SAM) pour la pathologie numérique : évaluation du point de segmentation à échantillon zéro de WSI
Cet article évalue les performances de segmentation sans tir du modèle SM dans les tâches de segmentation représentatives WSI, notamment 1) la segmentation des tumeurs, 2) la segmentation des tissus non tumoraux et 3) la segmentation du noyau cellulaire, dans lesquelles les performances sur la segmentation d'objets à instance dense ont été jugé insatisfaisant. Unité : Université Vanderbilt, NDIA
Segment Anything Mode ! (SAM) est utilisé comme modèle de base pour la segmentation d'images. Le modèle de segmentation indicative est formé sur 11 millions d'images sous licence et respectueuses de la vie privée avec plus d'un milliard de masques. Le modèle prend en charge la segmentation d'images sans prise de vue à l'aide de divers indices de segmentation (par exemple, points, cases, āsk). Cela rend SAM attractif pour l’analyse d’images médicales, en particulier pour la pathologie numérique où il existe peu de données de formation. Dans cette étude, nous évaluons les performances de segmentation zéro du modèle SM dans les tâches de segmentation représentatives WSI, notamment (1) la segmentation tumorale, (2) la segmentation des tissus non tumoraux et (3) la segmentation du noyau cellulaire. Résultats principaux : Les résultats montrent que le modèle Zero-shot SM présente des performances de segmentation significatives sur les objets connectés de grande taille. Cependant, même avec 20 repères (clics/cases) sur chaque image, il ne peut pas toujours atteindre des performances satisfaisantes pour la segmentation d'objets d'instances denses. Nous résumons également les limites de la pathologie numérique : (1) résolution d’image, (2) multi-échelle, (3) sélection à la volée et (4) réglage fin du modèle. À l’avenir, un réglage fin de quelques prises de vue sur les images provenant de tâches de segmentation pathologique en aval pourrait aider ce modèle à obtenir de meilleures performances dans la segmentation d’objets denses.
<Segment Anything Model (SAM) pour la pathologie numérique : évaluer la segmentation zéro sur l'imagerie de diapositives entières
4 SAM.MD : capacité de segmentation d'images médicales sans échantillon de SAM - point-box
Cette étude évalue l'efficacité zéro du SM pour la segmentation d'images médicales, qui utilise un petit nombre de clics et d'indices de cadre de délimitation pour montrer une grande précision dans les nouvelles tâches de segmentation d'images médicales. En utilisant SM, les experts peuvent réaliser une segmentation semi-automatique rapide de la plupart des structures médicales, ce qui est très précieux pour la segmentation médicale interactive. Unité : Centre allemand de recherche sur le cancer, hôpital universitaire de Heidelberg
Grâce à la flexibilité des invites, les modèles de base ont envahi les domaines du traitement du langage naturel et de la génération d'images. Avec l'introduction récente de SAM, ce paradigme piloté par invites est entré dans le domaine de la segmentation d'images avec de riches capacités jusqu'ici inexplorées. Le but de cet article est d'évaluer les performances de SAM dans les tâches de segmentation d'organes de tomodensitométrie abdominale au moyen d'invites basées sur des points ou des boîtes englobantes, et d'évaluer de manière préliminaire les capacités de tir zéro disponibles dans le commerce de SAM pour la segmentation d'images médicales. Nous montrons que SM se généralise bien aux données CT, ce qui en fait un catalyseur potentiel pour le développement d'outils de segmentation semi-automatique pour les cliniciens. Nous pensons que ce modèle de base, même s’il n’a pas atteint des performances de segmentation de pointe dans notre étude, peut servir de point de départ très puissant pour adapter davantage ces modèles aux complexités du domaine médical.
SAM.MD : capacités de segmentation d'images médicales sans plan du modèle Segment Anything
5 Quand SAM rencontre les images médicales : Recherche sur la segmentation de tout (SAM) dans la segmentation des tumeurs hépatiques en plusieurs étapes
Remarque : Le PDF de l'article a été téléchargé sur Planet et peut être téléchargé en un seul clic.
Cet article étudie les capacités du SAM dans l'analyse d'images médicales, en particulier les résultats expérimentaux de segmentation des tumeurs hépatiques en plusieurs étapes (MPLiTS) en termes d'invites, Résolution et phases des données. Il peut y avoir un écart important entre SM et les performances attendues en matière de segmentation d'images médicales.
De plus, les résultats expérimentaux révèlent les capacités supérieures de SM en tant qu’outil d’annotation de données et la marge d’amélioration de MPLiTS. Des recherches plus approfondies seront menées sur des aspects complets, qui pourraient fournir des orientations à la communauté de la segmentation des tumeurs hépatiques en plusieurs étapes (MPLiTS).
Quand SAM rencontre des images médicales : une enquête sur le modèle Segment Anything (SAM) sur la segmentation multiphasique des tumeurs hépatiques》
6 Précision du modèle de segmentation tout (SAM) dans les tâches de segmentation d'images médicales
Unité : Boston Children's Hospital, Harvard Medical School
Remarque : Le PDF de l'article a été téléchargé sur Planet et peut être téléchargé en un clic.
Le Segmentation Everything Model (SAM) est considéré comme le modèle de base pour la segmentation d'images ! Dans ce rapport, nous étudions (1) l'exactitude du SAM sur 12 ensembles de données publics de segmentation d'images médicales couvrant divers organes (cerveau, sein, poitrine, poumon, peau, foie, intestin, pancréas et prostate), la modalité d'image (rayons 2DX, histologie, endoscopique, 3DMRI et CT) et l'état de santé (normal, malade). (2) Nous constatons que sans recyclage sur des images médicales, les performances du SM ne sont pas aussi précises que celles de l'U-Nt ou d'autres modèles d'apprentissage profond formés sur des images médicales.
Précision du modèle Segment-Anything (SAM) dans les tâches de segmentation d'images médicales)
7 Le modèle SAM Segmentation Everything permet d'obtenir une bonne précision de segmentation tumeur cérébrale dans tumeur en IRM pour soutenir la planification de la radiothérapie – Point
Après la formation, tous les modèles de segmentation SAM peuvent obtenir une segmentation de haute précision, sans échantillon, des tumeurs cérébrales gliomes sur des coupes IRM. Des études ont montré que lorsqu'elle est intégrée dans des applications cliniques, l'AS peut accélérer et faciliter la planification de la radiothérapie en radiothérapie.
Contexte : La segmentation tumorale en IRM est cruciale dans la planification de la radiothérapie pour les patients atteints d'une tumeur cérébrale. Segment Any (SA) est un nouveau modèle de base de segmentation automatique qui montre une grande précision dans plusieurs tâches de segmentation, mais qui n'a pas encore été évalué sur des ensembles de données médicales. Méthodes : SA a été évaluée dans le cadre d'une tâche point à masque pour la segmentation automatisée des tumeurs cérébrales gliomes sur 16 744 coupes transversales provenant de 369 ensembles de données MI (BaTS2020). Jusqu'à 9 indices de points peuvent être placés sur chaque tranche . Segmentez le noyau tumoral (tumeur rehaussée + noyau nécrotique) sur la séquence T1w améliorée. Parmi les 3 masques prédits par SA, la précision du masque avec l'IoU calculée la plus élevée (masque oracle) et l'IoU prédite par le modèle la plus élevée (masque de proposition) a été évaluée. En plus d'évaluer l'AS sur l'ensemble de la coupe MI, l'AS a également été évaluée sur des images recadrées jusqu'à la tumeur (plage 3D maximale +2 cm). Résultats : Le meilleur 1oU (mbIoU) moyen en utilisant le masque oraclef sur des tranches IRM complètes était de 0,762 (IQR 0,713-0,917). Le meilleur masque 2D (IQR5-9) a été obtenu après une moyenne de 6,6 conseils. La précision de segmentation des cas de gliomes de haut grade était significativement meilleure que celle des cas de gliomes de bas grade (mbIoU0,789 contre 0,668). La précision des coupes IRM coupées jusqu'à la tumeur était médiocre (mb1oU0,759) et la précision de l'utilisation du masque proposé était bien pire (tranches complètes 0,572). Pour toutes les expériences, la précision était inférieure sur les tranches périphériques comportant moins de voxels tumoraux (mbIoU, <300 : 0,537 vs >=300 : 0,841). En superposant la meilleure segmentation oracle des coupes IRM toutes axiales, le 3DDSC moyen du noyau tumoral était de 0,872, qui s'est amélioré à 0,919 en combinant les masques axiaux, sagittaux et coronaux.
en conclusion:
Après avoir été formé sur des photos, le modèle de base Segment-Anything peut obtenir une segmentation très précise, sans échantillon, des tumeurs cérébrales gliomes sur des coupes IRM. Les résultats indiquent que, lorsqu'il est correctement intégré aux applications cliniques, Segment Anything peut accélérer et faciliter la planification du traitement RT.
Le modèle de base Segment Anything atteint une précision favorable d'autosegmentation des tumeurs cérébrales en IRM pour soutenir la planification du traitement de radiothérapie)
8 MedSAM : Segmenter tout-point-boîte dans les images médicales
Le code est open source ! Unité : UHN, Université de Toronto, Vector AI
Remarque : Le document PDF a été téléchargé sur Planet et peut être téléchargé en un clic.
Le modèle de segmentation tout (SAM) a révolutionné la segmentation naturelle des images, mais ses performances sur les images médicales sont limitées. Cet article présente MedSAM, la première tentative d'étendre le succès du SM aux images médicales, dans le but de créer un outil universel de segmentation de diverses cibles médicales. Plus précisément, nous avons d’abord organisé un ensemble de données d’images médicales à grande échelle, comprenant plus de 200 000 masques dans 11 modes différents. Nous développons ensuite une méthode simple de mise au point pour appliquer la SAM à la segmentation d’images médicales générales. Des expériences complètes sur 21 tâches de segmentation 3D et 9 tâches de segmentation 2D montrent que le coefficient de contraste de dés (DSC) moyen de MedSAM sur les tâches de segmentation 3D et 2D est respectivement de 22,5 % et 17,6 %, ce qui est meilleur que le modèle SAM par défaut.
"Segmentez n'importe quoi dans les images médicales",
9. Utilisez SAM pour l'amélioration des entrées : utilisez le modèle de base de segmentation pour améliorer la segmentation des images médicales
Cet article propose une nouvelle méthode pour améliorer la segmentation des images médicales, qui utilise le modèle de segmentation tout (S8M) pour augmenter l'entrée d'image des modèles de segmentation d'images médicales couramment utilisés (tels que U-Nt). Des expériences sur deux ensembles de données ont vérifié l'efficacité de la méthode. Unité : Université des sciences et technologies de Nanjing, Université de Notre Dame
Le modèle de segmentation tout (SAM) est un modèle à grande échelle récemment développé pour la segmentation générale des tâches de vision par ordinateur. SAM est formé à l'aide de 11 millions d'images avec plus d'un milliard de masques et peut produire des résultats de segmentation pour une large gamme d'objets dans des images de scènes naturelles. SM peut être considéré comme un modèle perceptuel général pour la segmentation (divisant les images en régions sémantiquement significatives). Par conséquent, comment utiliser un modèle de base aussi vaste pour la segmentation d’images médicales est un objectif de recherche émergent. Cet article montre que même si SM ne peut pas fournir immédiatement une segmentation de haute qualité des images médicales, ses masques, fonctionnalités et scores de stabilité générés aident à créer et à former de meilleurs modèles de segmentation d'images médicales. En particulier, nous démontrons comment SM peut être utilisé pour augmenter l’entrée d’image de modèles de segmentation d’images médicales couramment utilisés tels que U-Nt. Des expériences sur deux ensembles de données démontrent l'efficacité de notre méthode proposée.
Augmentation des entrées avec SAM : stimuler la segmentation des images médicales avec le modèle de base de segmentation
10 TEXT2SEG : SEGMENTATION SÉMANTIQUE D'IMAGES DE TÉLÉDÉTECTION VIA UNE FONDATION VISUELLE GUIDÉE PAR TEXTE
Convertissez le texte en carte thermique sous forme de points et utilisez-le avec la boîte
10 Premier bilan ! Une étude complète du modèle de segmentation tout (SAM)
25 pages de revue, 198 références ! 52 projets open source ! Cet article est le premier à passer en revue de manière exhaustive les progrès de la recherche et de l'application du modèle de segmentation tout (SM), à présenter le contexte de base et à résumer les avantages et les limites du SAM dans diverses applications de traitement d'images.Unité : Université des sciences et technologies de Hong Kong ( Guangzhou), Shanghai Jiao Tong University, Central South University
L'intelligence artificielle (4I) évolue vers l'intelligence artificielle générale, qui fait référence à la capacité des systèmes d'intelligence artificielle à effectuer un large éventail de tâches et à présenter un niveau d'intelligence similaire à celui des humains. Cela contraste avec l’IA étroite ou spécialisée, conçue pour effectuer efficacement des tâches spécifiques. Par conséquent, il existe un besoin urgent de concevoir une classe de modèles généraux, que nous appelons modèles de base, pouvant être formés sur un large éventail de données et adaptées à diverses tâches en aval. Le mode segment any (SAM) récemment proposé a fait des progrès significatifs en dépassant les limites de la segmentation, favorisant grandement le développement de modèles de base de vision par ordinateur. Pour bien comprendre SAM, nous avons mené une étude d’enquête. En tant que premier examen complet des avancées dans la segmentation de toute tâche en vision et au-delà sur la base du modèle basé sur SM, ce travail se concentre sur ses performances dans diverses tâches et données en discutant de son développement historique, de ses progrès récents et de son impact de grande envergure sur un large gamme de types d'applications. Nous introduisons d'abord le contexte et la terminologie des modèles de base, notamment SAM, ainsi que les méthodes de pointe qui existent parallèlement à SM et qui sont importantes pour la segmentation de toute tâche. Ensuite, nous analysons et résumons les avantages et les limites du SM dans diverses applications de traitement d'images, notamment les scénarios logiciels, les scènes réelles et les scènes complexes. Il est important de noter que certaines informations sont dérivées pour guider les recherches futures visant à développer des modèles sous-jacents plus généraux et à améliorer l'architecture de SM. Nous avons également résumé une tonne d’autres applications étonnantes de SAM dans le domaine de la vision et au-delà.
Une enquête complète sur le modèle de segmentation Anything pour Vision et au-delà