【Enregistrement d'image】Un examen de l'enregistrement d'image

1. Définition de l'enregistrement d'image

L'enregistrement des images consiste à faire correspondre plusieurs images (≥2) prises dans la même scène mais à des moments différents , ou sous des perspectives différentes , ou à partir de différents appareils d'acquisition . En supposant qu'il y a deux images, Image Fixe et Image en Mouvement , le recalage d'image consiste à trouver une transformation spatiale ( Transformation ), transformer l'image en mouvement en image fixe, de sorte que les points correspondant à la même position spatiale dans les deux images correspondent un -à-un, de sorte que Pour atteindre l'objectif de la fusion de l'information. L'enregistrement d'image est généralement en anglais : Image Registration , et certains alias incluent : Image Fusion, Superposition, Matching, Merge.

Remarque : Comme mentionné ci-dessus, l'enregistrement d'image consiste à enregistrer l'image mobile (B) sur l'image fixe (A) par transformation. En fait, convertissez d'abord les points de A et B dans le système de coordonnées du monde, c'est-à-dire calculez d'abord la coordonnée de transformation de A en monde $M_{}$, puis calculez la coordonnée de conversion monde-B $M_B^{-}$, la transformation finale du registre B en A est $M_B^{-}{M}_{}$. Dans l'application d'enregistrement, nous omettons le processus de conversion au système de coordonnées mondial.

[Objectif d'enregistrement d'image] Aligner géométriquement deux images, c'est-à-dire rendre les deux images cohérentes dans les coordonnées spatiales.
[Source des exigences d'enregistrement d'image] Je viens de commencer à regarder l'enregistrement d'image, et je me demandais pourquoi j'avais fait cela, et quel était l'intérêt d'unifier les deux images ?

En raison de conditions d'imagerie différentes (heure, angle de vue, caméra), les résultats d'imagerie du même objet sont différents. Et de nombreuses tâches d'analyse d'images, telles que la fusion d'images et la détection de changements, doivent unifier plusieurs images dans un seul système de coordonnées, de sorte que l'enregistrement des images est leur tâche préalable clé.

Prenons l'exemple des applications d'imagerie médicale : la source des exigences d'enregistrement des images médicales est que les images médicales ont plusieurs données modales (telles que CT, MR, échographie, TEP, SPECT), et les images de différentes modalités peuvent refléter différentes caractéristiques du corps humain. , comme l'IRM reflète la structure anatomique du corps humain, et la TEP reflète la structure fonctionnelle du corps humain. Ensuite, les médecins espèrent que ces images pourront être superposées dans un système de coordonnées (sous le même repère) pour refléter les caractéristiques structurelles du corps humain, au lieu de compter sur leur propre imagination pour obtenir une superposition d'images.

(L'image ci-dessus consiste à enregistrer une image IRM du cerveau d'une personne (à gauche) avec son image fonctionnelle du cerveau (au milieu) et à obtenir le résultat superposé (à droite) pour afficher simultanément des informations sur la structure anatomique et des informations fonctionnelles)

En raison de la diversité des images à recaler, il est impossible de concevoir une méthode de recalage générale pour toutes les tâches. Lors de la conception d'une méthode d'enregistrement, il est nécessaire de prendre en compte de manière exhaustive les caractéristiques de l'image, le type de déformation géométrique supposé, le bruit de l'image, la précision d'enregistrement requise et d'autres informations du point de vue des données et de l'application.

---

2. Scénarios d'application d'enregistrement d'image

2.1 Champ d'image médicale

• Diagnostic clinique (Diagnostic) : fusion des données multimodales du patient dans le même système de coordonnées pour faciliter le diagnostic (Combinaison d'informations provenant de plusieurs modalités d'imagerie)
• Surveillance de la maladie (étude de la progression de la maladie) : observation de l'apparition et du développement de la maladie (surveillance des changements de taille, de forme, de position ou d'intensité de l'image au fil du temps)
• Chirurgie guidée par l'image (Chirurgie guidée par l'image ou radiothérapie) : Enregistrement et fusion en temps réel des images préopératoires et peropératoires des patients pour aider les médecins à effectuer des traitements plus précis pendant la chirurgie (Mettre en relation les images préopératoires et les plans chirurgicaux avec la réalité physique du patient)
• Comparaison de patients ou construction d'atlas : Fusion d'un atlas anatomique standard et d'une structure de patient spécifique (Relier l'anatomie d'un individu à un atlas standardisé)

【Description-1】Diagnostic clinique : Superposer des images préopératoires multimodales d'un même patient pour aider les médecins à observer plus précisément les lésions et les structures anatomiques.

(L'image mobile ci-dessus est une image DTI, qui peut montrer la direction des faisceaux nerveux dans le cerveau humain ; l'image fixe est une image MR, qui montre la tumeur dans le cerveau du patient par IRM. À ce moment, le cerveau du patient la tumeur doit être enlevée sans endommager la structure neurale. Il faut superposer les deux images)

[Description-2] Atlas patient et standard : Il existe un grand nombre d'atlas anatomiques cliniques, qui sont des structures anatomiques humaines standard dessinées sur la base d'expériences antérieures. L'ordinateur peut numériser ces atlas standard dans l'ordinateur pour segmenter la structure anatomique du patient. Cependant, la structure anatomique de chaque patient spécifique n'est pas nécessairement la structure standard et peut être différente.Par conséquent, il est nécessaire de superposer l'atlas standard avec les images du patient spécifique pour aider à comprendre la structure anatomique du patient spécifique.

2.2 Autres domaines

• Domaines de la télédétection : classification multispectrale, surveillance de l'environnement, détection des changements, assemblage d'images, prévision météorologique, création d'images à super résolution, intégration d'informations dans les systèmes d'information géographique
• Domaine de la vision par ordinateur : localisation d'objets, contrôle qualité automatique, analyse vidéo, reconnaissance de formes, suivi automatique des changements de mouvement d'objets
• Champ cartographique : mise à jour des informations cartographiques

---

3. Classification de l'enregistrement des images

Les critères de classification pour l'enregistrement des images ne sont pas uniques et les plus courants incluent :

• Application : images médicales, images de télédétection, images naturelles
• Méthode d' acquisition d'images : multi-vues, multi-temporelles, multi-modales, Scene to model registration
• Dimensionnalité : 2D à 2D, 3D à 3D, 2D à 3D
• Domaine de transformation : Enregistrement local local, Enregistrement global global, qu'il soit local ou global dépend de la demande
• Idée d'enregistrement (Nature de la base d'enregistrement) : enregistrement basé sur l'image elle-même (basé sur l'image) et enregistrement non basé sur l'image elle-même (non basé sur l'image), où basé sur l'image inclut le mécanisme d'enregistrement interne (intrinsèque) et l'enregistrement externe mécanisme (extrinsèque)
• Type de déformation (Nature de la transformation) : Recalage de corps rigide rigide, Recalage affine affine, Recalage de projection projective, Recalage de courbe courbe
• Que ce soit pour interagir (Interaction): Interactif interactif, Semi-automatique semi-automatique, Automatique entièrement automatique
• Procédure d'optimisation : Il existe différents algorithmes pour le processus d'optimisation
• Les modalités d'imagerie (modalités impliquées) sont courantes dans le domaine médical : enregistrement monomodal entre la même modalité (telle que l'enregistrement CT et CT), enregistrement multimodal entre différentes modalités (telles que l'enregistrement CT et MR), modalité pour modéliser le modèle standard et différents Modal enregistrement des images
• Les objets de recalage (Sujet) sont courants dans le domaine médical : Recalage intra-sujet entre images d'un même individu (comme des images d'une même personne à différentes périodes), Recalage d'images inter-sujets entre différents individus, Atlas anatomique et recalage entre personnes

[Explication-3] Classification par méthode d'acquisition d'images :

1. Enregistrement multi-vues de différents points de vue (analyse multi-vues) : c'est-à-dire pour enregistrer des images obtenues à partir de différentes perspectives dans la même scène . Le but d'un tel recalage est d'obtenir une image 2D ou une image 3D plus grande. Exemple d'application : épissage d'images de télédétection acquises sous différentes perspectives, et restauration de la forme tridimensionnelle de la cible en vision par ordinateur (reconstruction 3D).
2. Différents moments (analyse multi-temporelle) enregistrement multi-temporel : c'est-à-dire pour enregistrer des images acquises à différents moments dans la même scène avec la même perspective . Le but d'un tel enregistrement est d'évaluer les changements qui se produisent dans la scène. Exemples d'application : dans les images de télédétection, détection de l'utilisation globale des terres et de l'aménagement du territoire ; en vision par ordinateur, détection automatique des changements pour la surveillance de la sécurité et le suivi des mouvements ; dans les images médicales, surveillance des processus de traitement, surveillance des changements tumoraux.
3. Enregistrement multimodal de différents capteurs (analyse multimodale) : c'est-à-dire que les images acquises par différents dispositifs d'imagerie dans la même scène sont enregistrées . Le but d'un tel enregistrement est d'intégrer des informations provenant de différentes sources pour obtenir des données plus détaillées et complexes. Exemple d'application : dans les images de télédétection, fusion d'images panchromatiques et d'images multispectrales ou d'images radar, dans lesquelles les images panchromatiques offrent une meilleure résolution spatiale, les images multispectrales ont une meilleure résolution spectrale, les images radar peuvent être exemptes de nuages ​​et de l'influence de la lumière du soleil ; dans le domaine médical images, fusion d'images provenant d'équipements d'imagerie enregistrant l'anatomie humaine (IRM, échographie, scanner) et d'équipements d'imagerie surveillant les fonctions corporelles et les activités métaboliques (TEP, SPECT, SRM), résultats de fusion Peut être utilisé en radiothérapie ou en médecine nucléaire.
4. L'enregistrement de la scène au modèle est enregistré sur le modèle : l'image et le modèle de la même scène sont enregistrés. Un modèle peut être une représentation informatique d'une scène, comme une carte, une autre scène/patient avec un contenu similaire, un échantillon moyen, etc. Le but d'un tel enregistrement est de faire correspondre les images au modèle et de les comparer. Exemples d'application : dans les images de télédétection, enregistrez des données aériennes ou satellitaires dans des cartes ; dans les images médicales, comparez les images de patients avec des atlas anatomiques ; en vision par ordinateur, faites correspondre les images acquises en temps réel avec des modèles cibles pour une inspection automatique de la qualité.

[Explication-4] Classement par idée d'inscription :

Les méthodes d'enregistrement basées sur l'image elle-même (basées sur l'image) incluent :

1. Le mécanisme de recalage interne (Intrinsèque), c'est-à-dire le recalage basé sur des caractéristiques internes, les caractéristiques internes sont les informations extraites de l'intérieur de l'image.
2. Le mécanisme d'enregistrement externe (extrinsèque) obtient des points marqueurs définis sur l'image en fixant artificiellement des marqueurs sur le patient ou en injectant des substances de développement dans le corps.

[Explication-5] Classement par type de déformation :

La transformation de l'espace image peut être divisée en transformation de corps rigide (Rigid) et transformation de corps non rigide (Deformable), où :

• Les modèles d'enregistrement de corps rigides sont des transformations linéaires, y compris la translation, la rotation, la mise à l'échelle et les transformations affines. Les transformations linéaires sont de nature globale et ne peuvent donc pas simuler les différences géométriques locales entre les images ;
• Les modes de transformation non rigides permettent des transformations élastiques qui peuvent déformer localement l'image en mouvement afin qu'elle s'aligne avec l'image fixe. Les transformations non rigides incluent les fonctions de base radiale (plaques minces ou splines de surface, quadriques multiples et transformations à support compact), les modèles de continuum physique (fluides visqueux) et les modèles de grande déformation (difféomorphisme).

Remarque : L'enregistrement linéaire n'est pas un enregistrement rigide, et l'enregistrement rigide n'est qu'une partie de l'enregistrement linéaire . L'enregistrement linéaire comprend trois opérations de base : translation, mise à l'échelle et rotation. Il permet également d'autres opérations de transformation, telles que le mouvement parallèle des côtés opposés, la transformation d'un carré en parallélogramme, mais l'enregistrement linéaire Aucune déformation locale n'est autorisée.

---

4. Processus d'enregistrement des images

Cadre général d'enregistrement pour les images médicales :

l'image en mouvement sera déformée par rapport à l'image fixe, et des pixels peuvent être perdus pendant le processus de déformation, donc un interpolateur est nécessaire, c'est-à-dire une interpolation. Différentes méthodes d'interpolation peuvent être utilisées pour restaurer les pixels manquants. Ensuite, la norme pour mesurer la similarité entre l'image animée transformée et l'image fixe s'appelle Metric, et il existe de nombreuses façons d'implémenter la norme. Transformez la matrice de transformation Transformez et mettez à jour l'optimiseur de manière itérative pour atteindre l'optimum.

En règle générale, le processus d'enregistrement se compose de quatre étapes : détection des caractéristiques , correspondance des caractéristiques , estimation du modèle de transformation et rééchantillonnage et transformation de l'image .

1. Détection de fonctionnalités, détection de fonctionnalités . Détectez les régions saillantes ou uniques d'objets, y compris les régions avec des limites fermées, des bords, des contours, des intersections de lignes, des coins, etc. Pour la commodité du traitement, ces caractéristiques peuvent être représentées par des "points représentatifs", tels que des centres, des points d'extrémité de ligne, des points caractéristiques, etc. Ces points peuvent être collectivement appelés points de contrôle (CP).
   (détection de fonctionnalité, ici utiliser le coin comme fonctionnalité)

2. Correspondance de fonctionnalités, correspondance de fonctionnalités . Établissez la correspondance entre les caractéristiques des images mobiles et des images fixes, et utilisez des descripteurs de caractéristiques, des mesures de similarité et des relations spatiales entre les caractéristiques pour déterminer la précision de l'enregistrement.
   
   (les correspondances de fonctionnalités, les paires correspondantes sont numérotées)

3. Estimation du modèle de transformation, estimation du modèle de transformation . Estimez le type et les paramètres du modèle de cartographie et alignez l'image en mouvement avec l'image fixe. Parmi eux, les paramètres du modèle cartographique sont calculés en établissant la correspondance entre les caractéristiques.
   
   (Estimation du modèle de transformation, en utilisant la correspondance établie dans l'appariement des caractéristiques pour estimer le modèle de transformation)

4. Rééchantillonnage et transformation d'images, rééchantillonnage et transformation d'images . C'est-à-dire que l'image en mouvement est transformée par le modèle de mappage.
   
   (rééchantillonnage et transformation d'images, rééchantillonnage et transformation d'images à l'aide de techniques d'interpolation appropriées)

4.1 Détection de caractéristiques

Dans le processus traditionnel de détection de fonctionnalités, les fonctionnalités sont sélectionnées manuellement par des experts. En termes de détection automatique de caractéristiques, il existe principalement deux méthodes : les méthodes basées sur la zone et les méthodes basées sur les fonctionnalités . La méthode basée sur la région n'effectue pas de détection de caractéristiques significatives et utilise directement une fenêtre d'une taille prédéfinie ou même l'image entière comme caractéristique pour l'étape de correspondance des caractéristiques, il ne s'agit donc pas à proprement parler d'une détection de caractéristiques. Les méthodes basées sur les caractéristiques extraient les caractéristiques saillantes des images, telles que les zones importantes (forêts, lacs, champs), les lignes (limites de zone, littoraux, routes, rivières), les points (points d'inflexion de zone, intersections de segments de ligne, points sur des courbes à forte courbure) attendez. Par rapport aux méthodes basées sur la région, les méthodes basées sur les caractéristiques ne traitent pas directement les valeurs d'intensité de l'image, mais utilisent des informations de caractéristiques de niveau supérieur. Ceci est utile pour s'adapter aux changements d'éclairage ou à l'analyse d'appareils multi-acquisition.

Les éléments distinctifs doivent avoir les caractéristiques suivantes :

• différent du reste de l'image
• Il y a de telles caractéristiques tout au long de la figure
• peut être détecté dans les deux images à enregistrer

Les méthodes basées sur les entités doivent être extraites, notamment : les entités régionales , les entités linéaires , les entités ponctuelles

• Caractéristiques de la région : les caractéristiques régionales sont généralement des zones à fort contraste et à contours fermés , telles que des réservoirs, des lacs, des bâtiments, des forêts et des zones urbaines. Ces régions sont généralement représentées par leurs centres de gravité , car le centre de gravité reste constant lorsqu'il est tourné, mis à l'échelle, incliné et est relativement stable en présence de changements d'échelle de gris ou de bruit.
  Comment détecter les caractéristiques régionales ?
  Détectée par des techniques de segmentation d'image [72, 137], la qualité de la segmentation affectera directement l'effet de recalage
  Sélection de caractéristiques invariante aux changements d'échelle
• Caractéristiques linéaires : les caractéristiques linéaires sont généralement des segments de ligne , des contours d'objets, des côtes, des routes ou des structures anatomiques allongées dans les images médicales. Les lignes sont généralement représentées par les deux extrémités de la ligne ou par le milieu de la ligne .
  Comment détecter les éléments linéaires ?
  Par des méthodes de détection des bords, telles que le détecteur Canny [28] ou le détecteur à base de laplacien gaussien [126]
  enquête sur la méthode de détection des bords (détection des bords) [222]
• Entités ponctuelles : les entités ponctuelles sont généralement des intersections de lignes , des intersections de routes, des centroïdes d'eau, des champs de pétrole et de gaz, des points à variance élevée, des points avec des discontinuités de courbure locales détectées à l'aide d'ondelettes de Fabor, des points d'inflexion de courbe, des valeurs extrêmes locales de transformée en ondelettes, des points saillants et les points d'angle sous une mesure de similarité spécifique.
  Comment détecter les entités ponctuelles ?
  La plupart des détecteurs de caractéristiques ponctuelles définissent les points comme des intersections de lignes, des centres de gravité de régions frontières fermées ou des maxima de module local de transformées en ondelettes.
  De plus, les coins sont une caractéristique ponctuelle en soi, car les coins sont difficiles à définir comme les intersections de lignes. En général, les coins sont intuitivement compris comme des points à forte courbure sur la limite de la région. Les points d'angle sont souvent utilisés comme points de contrôle (CP) car ils sont géométriquement invariants et faciles à percevoir.
  Détecter la lecture d'enquête de coin (coin) (détection de coin): [155, 172, 220, 156]

Résumé : Pour les images présentant des caractéristiques évidentes (telles que les applications de télédétection et de vision par ordinateur), les méthodes de détection de caractéristiques basées sur les caractéristiques sont recommandées, car ces images contiennent de nombreux détails reconnaissables (villes, rivières, routes, forêts, installations des salles, etc.). Cependant, les images médicales ne contiennent généralement pas d'informations détaillées détaillées et des méthodes de détection de caractéristiques basées sur la région sont généralement utilisées. Dans les applications d'imagerie médicale, l'absence de caractéristiques saillantes peut également être complétée par des experts sélectionnant ou introduisant de manière interactive des caractéristiques extrinsèques du patient [123].

Une enquête sur l'aspect pratique des méthodes de détection de caractéristiques basées sur les régions et les caractéristiques : [151], l'applicabilité à diverses images de contraste et de netteté est analysée. De plus, il existe maintenant des méthodes de détection de caractéristiques utilisant à la fois des caractéristiques basées sur la région et sur les caractéristiques [85].

4.2 Correspondance des fonctionnalités

Une fois la détection des caractéristiques effectuée à partir de l'image mobile et de l'image fixe respectivement, les caractéristiques détectées peuvent être mises en correspondance par l'intensité moyenne de l'image, la distribution spatiale des caractéristiques ou le descripteur de caractéristiques des régions similaires des deux images. De plus, certains travaux combinent les deux étapes de détection de caractéristiques et d'appariement de caractéristiques, c'est-à-dire que lors de la détection des caractéristiques correspondantes des deux images, les paramètres de la fonction de cartographie sont également estimés en même temps.

4.2.1 Méthodes basées sur la zone

Méthodes basées sur la zone : les méthodes basées sur la zone sont également appelées méthodes de type corrélation ou correspondance de modèles . Comme mentionné en 4.1, ce type de méthode ne comporte pas à proprement parler d'étape de détection de caractéristiques, c'est-à-dire qu'elle ne détecte pas les caractéristiques saillantes de l'image, mais utilise directement une fenêtre de taille prédéfinie, voire l'image entière, pour l'étape d'appariement des caractéristiques [4, 12, 145].

Les limites des méthodes basées sur les régions sont : 1) la simple utilisation de fenêtres ne peut enregistrer que des transformations rigides (telles que la translation, la rotation, etc.), si des transformations élastiques plus complexes (telles que des transformations de perspective, etc.) se produisent entre les images, alors simple La fenêtre ne peut pas être enregistrée, ce qui est également une lacune inhérente à l'idée de base de la méthode basée sur les régions ; 2) Pour le contenu de la fenêtre qui n'est pas "significatif" dans l'image animée et l'image fixe, il peuvent ne pas correspondre correctement ; 3) La détection des caractéristiques doit consister à sélectionner différentes parties de l'image, ce qui ne peut pas être fait avec les méthodes de sélection basées sur la fenêtre.

4.2.1.1 Méthodes de type corrélation

Méthodes de type corrélation : l'idée de base est de mesurer la similarité entre l'image en mouvement et l'image fixe. Le but est de trouver la paire de fenêtres avec la plus grande similarité, et de faire correspondre les deux images en faisant continuellement correspondre la paire de fenêtres. .

(1) La méthode classique d'appariement des caractéristiques basée sur la région : la corrélation croisée (CC) , correspond directement à l'image grâce à l'intensité de l'image sans utiliser aucune analyse sur la structure de l'image. Donc l'inconvénient du CC : il est très sensible au changement d'intensité de l'image. Souvent, le bruit de l'image, les changements d'intensité d'éclairage pendant la prise de vue et l'utilisation de différents appareils d'acquisition peuvent entraîner des variations d'intensité de l'image. L'idée de base de CC : Calculer la similarité entre les paires de fenêtres dans l'image animée et l'image fixe, et rechercher les deux paires de fenêtres avec la plus grande similarité (problème de maximisation).Le résultat optimal de la recherche est la fenêtre correspondante paire. Selon l'idée de base de la méthode CC, on peut savoir qu'elle est plus adaptée pour faire correspondre des images dont les positions spatiales ont été translatées, mais en fait, elle peut également être appliquée à une légère rotation et mise à l'échelle. Similitude de calcul CC :

Basé sur CC, il existe CC normalisé et de nombreuses méthodes variantes [146]. Afin de permettre à CC de gérer des déformations géométriques complexes autres que la translation, [17, 83] ont proposé de calculer un CC pour chaque transformation géométrique supposée, [170] pour résoudre le problème d'enregistrement différent dû aux changements de perspective et dû aux défauts de la lentille , [98, 99] résolvent le problème de recalage où les images sont partiellement occluses.

(2) Une méthode similaire à CC est l'algorithme de détection de similarité séquentielle (SSDA) , qui utilise une stratégie de recherche séquentielle et la distance L1 comme métrique de distance. L'idée de base de SSDA : Calculer la valeur absolue (distance L1) de la différence d'intensité d'image entre la paire de fenêtres et les additionner. Si la somme cumulée dépasse un seuil donné, cela signifie que la paire de fenêtres ne correspond pas. SSDA est plus simple à calculer que CC et donc plus rapide, mais peut ne pas être aussi précis que CC. Dans la méthode de mesure de distance, vous pouvez également utiliser la somme des différences au carré (Sum of squared differences) [211].

(3) La troisième méthode est la méthode basée sur le rapport de corrélation (CR) .Contrairement à CC, CR suppose que l'intensité de l'image peut être représentée par une fonction, de sorte que CR peut traiter le problème de l'incohérence entre les images (images multimodales). Pour une comparaison des différentes méthodes d'appariement d'images multimodales, reportez-vous à [154].

Les méthodes de type corrélation présentent deux principaux inconvénients :

1. Planéité des maxima de similarité . En raison de l'auto-similitude à l'intérieur de l'image, lors du calcul de la similarité de la paire de fenêtres, sa valeur maximale a souvent une "planéité", c'est-à-dire qu'il existe plusieurs valeurs très similaires, qui peuvent toutes être utilisées comme valeur maximale. Les solutions de contournement incluent l'accentuation du maximum en prétraitant l'image ou en utilisant la corrélation contour/vecteur [145, 196, 6].
2. Grande complexité de calcul . Lors de la recherche de paires de fenêtres correspondantes, cela revient à calculer la similarité entre la fenêtre courante et chaque fenêtre de l'image correspondante, donc le calcul est très lourd.

4.2.1.2 Méthodes de Fourier

Les méthodes de Fourier conviennent à l'appariement des caractéristiques dans les situations suivantes :

• L'image contient du bruit dépendant de la fréquence
• Modification des conditions d'imagerie (éclairage au fil du temps, etc.)
• Il y a des impératifs de vitesse de calcul (plus l'image à recaler est grande, plus le gain de temps de calcul est important)

(Je n'ai pas lu les détails, donc je les ajouterai plus tard)

4.2.1.3 Méthodes d'information mutuelle

Méthodes basées sur l'information mutuelle (IM) : L'IM est dérivée de la théorie de l'information et est utilisée pour mesurer la dépendance conceptuelle statistique entre deux ensembles de données, en particulier pour le recalage d'images de différentes modalités. Par exemple, dans l'application de l'enregistrement d'images médicales, il est nécessaire d'enregistrer l'image anatomique et l'image fonctionnelle du patient pour faciliter le diagnostic. L'idée de base de la méthode MI est de trouver la solution optimale en maximisant MI.

Le MI entre deux variables aléatoires X et Y est donné par où $H\left(X\right)=-E{\_}_{}\left(log\right(P\left(X\right)\left)\right)$ représente la variable aléatoire$L\text{'}entropie\; de\; X$ ,$P\left(X\right)$ signifieXXLa distribution de probabilité de$X.$

4.2.1.4 Méthodes d'optimisation

Méthode basée sur l'optimisation : C'est un problème d'optimisation multidimensionnel pour obtenir la mesure de différence minimale ou la mesure de similarité maximale, et sa dimension est le degré de liberté de transformation géométrique. Plus le degré de liberté du problème est élevé ou plus la mesure de similarité est complexe, plus l'algorithme d'optimisation est nécessaire pour trouver le maximum global. L'idée de base de la méthode d'optimisation : considérer le problème d'appariement comme un problème d'optimisation pour trouver la valeur maximale/minimale globale, concevoir la fonction énergétique (Energy function) et la minimiser, et trouver la solution optimale lorsque la fonction énergétique atteint la le minimum. De plus, la fonction énergétique se compose généralement de deux parties, l'une est une mesure de similarité/dissemblance, et l'autre est un terme de régularisation/terme de pénalité. Dans les problèmes de transformation de corps rigides, le terme de régularisation est généralement omis, mais dans les transformations de corps non rigides, le terme de régularisation est généralement présent.

Pour des articles sur les méthodes d'optimisation, vous pouvez vous référer à :
[166] Utilisez l'algorithme de minimisation numérique de Gauss-Newton pour minimiser la somme des différences au carré ; [
201] Utilisez l'algorithme d'optimisation de descente de gradient pour trouver la valeur maximale de MI ;
[164] Utiliser Levenberg-Marquardt L'algorithme d'optimisation minimise la différence d'intensité entre les pixels correspondants.

4.2.2 Méthodes basées sur les fonctionnalités

Après la première étape de détection des caractéristiques, nous sommes en mesure d'obtenir des caractéristiques d'image représentées par des points de contrôle (CP), telles que des caractéristiques ponctuelles (points eux-mêmes), des caractéristiques linéaires (extrémités de ligne ou points médians de ligne), des caractéristiques de zone (centre de gravité de la zone) , basé sur l'entité La méthode d'appariement vise à trouver des correspondances par paires entre ces entités à l'aide de leurs relations spatiales ou de divers descripteurs d'entités.

4.2.2.1 Relations spatiales basées sur les entités

Méthode basée sur la relation spatiale des entités : l'idée de base est d'utiliser la distance entre les points de contrôle et leur distribution spatiale pour compléter l'appariement des entités. Il est généralement applicable à la situation où les caractéristiques détectées sont floues ou le voisinage des caractéristiques est localement déformé.

Pour les articles basés sur les relations d'espace de caractéristiques, veuillez vous référer à :
[71] Utilisation de l'algorithme d'appariement de graphes (algorithme d'appariement de graphes) pour l'enregistrement ; [
175] Utilisation de la technique de clustering (technologie de clustering) pour l'enregistrement ;
[14,22] Utilisation de l'enregistrement d'appariement de chanfrein ;
[18] L'algorithme Iterative Closest Point (ICP) est utilisé pour l'enregistrement d'images 3D.

4.2.2.2 Basé sur le descripteur de fonctionnalité

Basé sur des descripteurs de caractéristiques : L'idée de base est d'utiliser des descripteurs de caractéristiques pour estimer la correspondance entre les caractéristiques, c'est-à-dire pour faire correspondre les caractéristiques avec les descriptions les plus similaires dans l'image en mouvement et l'image fixe. Lors de la recherche de la meilleure paire de caractéristiques correspondantes dans l'espace de description des caractéristiques, la règle de distance minimale avec un seuil ou le coefficient de probabilité de correspondance peut être utilisée.

Le descripteur de fonctionnalité doit remplir les conditions suivantes, mais ces conditions ne doivent pas (peuvent) nécessairement être remplies :

1. invariance, invariance. Les descriptions des caractéristiques correspondantes de l'image animée et de l'image fixe doivent être les mêmes ;
2. singularité, singularité. Différentes fonctionnalités doivent avoir des descriptions différentes ;
3. stabilité, stabilité. Une fois que l'entité est légèrement déformée, sa description doit être similaire à la description avant la déformation ;
4. indépendance, indépendance. Si la description de la caractéristique est un vecteur, ses éléments doivent être fonctionnellement indépendants.

4.2.2.3 Méthodes de relaxation

[tous]

4.2.2.4 Pyramides et ondelettes

[tous]

4.2.3 Résumé

Lorsque les images à enregistrer n'ont pas beaucoup d'informations détaillées et que les caractéristiques saillantes sont fournies par l'échelle de gris de l'image plutôt que par la forme ou la structure locale, les méthodes d'appariement des caractéristiques basées sur la région sont préférées. Pour accélérer la recherche, les méthodes basées sur les régions utilisent généralement des représentations d'images pyramidales et des algorithmes d'optimisation complexes pour trouver la valeur maximale de la matrice de similarité. Les inconvénients de la méthode d'appariement basée sur la région sont : 1) L'image mobile et l'image fixe doivent avoir des fonctions d'intensité similaires, c'est-à-dire que les fonctions d'intensité sont soit identiques, soit au moins ont une corrélation statistique (commune dans le recalage d'image multimodal ); 2) Seule la traduction ou la petite rotation entre les images est autorisée. Bien que la méthode actuelle basée sur la région puisse également être étendue à une rotation et une mise à l'échelle complètes, elle n'est pas couramment utilisée dans les applications pratiques en raison de la grande quantité de calculs.

Lorsque les informations de structure locale de l'image sont plus importantes, la méthode d'appariement basée sur les caractéristiques est préférée, qui peut enregistrer des images de propriétés différentes et peut traiter des problèmes complexes de distorsion d'image. La clé de l'utilisation des méthodes basées sur les caractéristiques est d'avoir des descripteurs de caractéristiques robustes qui sont invariants à toutes les différences supposées entre les images. Un inconvénient courant des méthodes d'appariement basées sur les caractéristiques est que les caractéristiques peuvent être difficiles à détecter ou présenter une instabilité temporelle.

4.3 Estimation du modèle de transformation

Qu'est-ce que la métamorphose ? La transformation est liée à la transformation (transformation de coordonnées) des positions des caractéristiques des deux images, comprenant principalement les quatre méthodes de transformation suivantes :

• Rigide : Rotation, translation et transformation de mise à l'échelle, la structure détaillée de l'image ne changera pas.
• Affine : Cisaillement, mise à l'échelle, la caractéristique du résultat de cisaillement est que deux côtés opposés quelconques de l'image restent parallèles.
• Curved : Permet un repérage droit et courbe, pas nécessairement un repérage rigide.
• Projection (perspective) : la méthode de transformation est plus flexible et la relation entre les côtés opposés peut changer.

Le but des algorithmes de recalage est de trouver le modèle de transformation (Tranformation), c'est-à-dire de trouver la matrice de transformation des coordonnées pour réaliser la fusion de deux images différentes. Les algorithmes d'enregistrement peuvent être divisés en algorithmes rigides et affines, algorithmes non rigides,

1. Algorithme d'enregistrement Rigide & Affine

• Basé sur un point de repère : trouvez les points caractéristiques dans les deux images pour l'enregistrement (le point de repère ici fait référence aux points caractéristiques)
• Basé sur la théorie de l'information : Enregistrement basé sur la théorie de l'information
• Basé sur les bords : Trouvez les bords correspondants dans les deux images pour réaliser l'enregistrement
• Basé sur l'intensité du voxel : mesurez la cohérence des niveaux de gris entre les images pour obtenir l'enregistrement

2. Algorithme d'enregistrement non rigide

• Fonctions de base : utilisez la fonction de base
• Splines : utiliser les fonctions splines
• Basé sur la physique : méthodes d'enregistrement physique, telles que l'utilisation d'Elastic (corps flexible), Fluid (fluide), Optical flow (méthode de flux optique), ces méthodes proviennent d'autres domaines

La Transformation de l'algorithme de recalage nécessite également un processus d'optimisation itératif (Optimisation), d'un recalage moins précis à un recalage optimal . Le processus d'optimisation est :

1. Supposez d'abord une transformation initiale, puis optimisez-la de manière itérative
2. À chaque itération, la transformation actuellement estimée est utilisée pour la mesure de similarité
3. Selon la similarité calculée à l'étape précédente, une nouvelle transformation est estimée, et la prochaine itération est effectuée jusqu'à ce que l'algorithme converge pour obtenir la transformation optimale

4.3.1 Transformation

1. Algorithme d'enregistrement Rigide & Affine

1) Enregistrement basé sur les repères : Par exemple, les images d'une même personne à différentes périodes ont subi quelques légères modifications, mais il reste encore des points relativement inchangés (points rouges dans la figure ci-dessous), en trouvant la correspondance entre ces points caractéristiques , Vous pouvez trouver la transformation entre l'ensemble de l'image . La transformation est obtenue en calculant la corrélation entre ces points, en trouvant le centre de gravité de ces points et même en faisant pivoter les points de sorte que la distance entre ces points soit minimisée. Les types de repères comprennent : 1) les points de caractéristique internes intrinsèques , tels que les points de caractéristique de la structure anatomique à l'intérieur de l'image ; 2) les points de caractéristique externes extrinsèques , tels que le marquage artificiel de certains points faciles à imager sur le corps du patient avant de l'imager.

2) Enregistrement basé sur la surface : trouvez les surfaces correspondant aux deux images et réalisez la transformation en calculant et en minimisant la distance entre les deux surfaces . Les algorithmes de recalage basés sur la surface couramment utilisés comprennent : 1) l'algorithme "Head and Hat" ; 2) l'algorithme itératif du point le plus proche (ICP), algorithme itératif du plus proche voisin ; 3) le recalage à l'aide de lignes de crête.

3) Basé sur l'intensité du voxel : la transformation est obtenue en calculant la différence de niveau de gris entre les images et en la minimisant . Par exemple, calculez l'histogramme gris (histogramme gris) des deux images à recaler, et l'histogramme gris entre les deux images est appelé joint-histogramme. Lorsque la ligne blanche au milieu de l'histogramme conjoint est plus concentrée (équivalent à une analyse de cohérence), cela signifie que l'effet d'enregistrement est meilleur (l'histogramme conjoint lui-même peut être utilisé comme mesure pour mesurer l'effet d'enregistrement). Les algorithmes courants basés sur l'enregistrement des niveaux de gris de l'image comprennent : 1) l'enregistrement en minimisant la différence d'intensité pour minimiser la différence de niveaux de gris ; 2) les techniques de corrélation pour maximiser la corrélation ; 3) l'uniformité de l'image du rapport pour maximiser le rapport de cohérence ; 4) l'image d'uniformité de l'intensité partitionnée l'uniformité de l'échelle de gris entre les pièces.

4) Basé sur la théorie de l'information : Dans la théorie de l'information, il existe des concepts tels que l'entropie et l'information mutuelle, qui sont utilisés pour mesurer la quantité d'informations. Un alignement optimal peut être obtenu en maximisant la valeur maximale des informations partagées dans les deux images . Les algorithmes couramment utilisés basés sur la théorie de l'information comprennent : 1) L'entropie de corrélation d'entropie conjointe, qui mesure la somme de la quantité d'informations après le mélange des deux images. Plus la quantité d'informations est petite, meilleur est l'effet d'enregistrement, c'est-à-dire le minimum est nécessaire pour obtenir l'alignement optimal ; 2) Information mutuelle information mutuelle, qui mesure à quel point une image peut décrire une autre image, c'est-à-dire pour voir si les deux images ont atteint la correspondance optimale, et obtenir l'alignement optimal en trouvant la valeur maximale ; 3) Les informations mutuelles normalisées normalisent les informations mutuelles, ce qui est identique à la méthode basée sur les informations mutuelles.

2. Algorithme d'enregistrement non rigide

1) Fonctions de base : Le champ de déformation peut être bien exprimé en utilisant des fonctions de base, telles que la base de Fourier/trigonométrique et la base d'ondelettes. L'avantage d'utiliser des fonctions de base est que les contraintes de lissage peuvent être bien implémentées.

2) Splines : trouvez des points de contrôle (CP) dans les deux images et exprimez la différence entre les CP à l'aide de la fonction spline pour obtenir l'enregistrement.

3) Basé sur la physique : Le processus de déformation est considéré comme un processus de déformation physique, qui comprend principalement les types suivants : 1) Enregistrement élastique : enregistrement élastique linéaire, qui est favorisé conjointement par la force interne et la force externe, et peut être transmis par Navier équation aux dérivées partielles élastiques linéaires (équation aux dérivées partielles élastiques linéaires de Navier) pour décrire ; 2) Enregistrement de fluide : enregistrement basé sur le champ de fluide ; 3) Modèles mécaniques : enregistrement d'image par déformation du modèle mécanique ; 4) Flux optique : utiliser le champ de flux optique pour obtenir l'autorisation d'enregistrement.

4.3.2 Optimisation

Le processus d'optimisation est le processus d'optimisation des paramètres de transformation dans le processus d'enregistrement. L'optimisation des paramètres est obtenue en trouvant la valeur maximale/minimale de la fonction objectif.

Les fonctions objectives couramment utilisées incluent :

• Intramodal : différence quadratique moyenne Différence quadratique moyenne (minimisation), corrélation croisée normalisée Corrélation croisée normalisée (maximisation), différence d'entropie Entropie de la différence (minimisation)
• Intermodal (ou intramodal) : information mutuelle Information mutuelle (maximisation), information mutuelle normalisée Information mutuelle normalisée (maximisation), corrélation d'entropie Coefficient de corrélation d'entropie (maximisation), fonction de perte AIR Fonction de coût AIR (minimisation)

Prenez la différence quadratique moyenne comme exemple, trouvez les points correspondants sur les images A et B et calculez la différence de valeur de gris $Difference\left(index\right)=A\left(index\right)-B\left(dansdex\right)$ , calcule le carré de la différence de valeur de gris de tous les points correspondants dans le graphique et somme$S$$Somme+\_\_=Difference(index{)}^2$ , divisez enfin le nombre total de tous les pixels$Match(A,B)=Somme/nombredepixels,ladifférencedeniveauxdegrisdetoutel\text{'}imageest$ obtenue$.$

La méthode de calcul répétitif de la différence de chaque pixel du graphe est une recherche exhaustive, qui est stable mais dont la vitesse de calcul est trop lente. À l'heure actuelle, l'algorithme d'optimisation le plus couramment utilisé est Gradient Descent, qui peut réduire considérablement la quantité de calculs.

---

Pour estimer le modèle de transformation, les tâches à résoudre incluent : 1) Sélectionner le type du modèle de cartographie, 2) Estimation des paramètres du modèle de cartographie . Le type de modèle de cartographie doit correspondre au type de transformation géométrique assumée par l'image en mouvement, la méthode d'acquisition d'image et la précision d'enregistrement souhaitée. Après avoir construit le modèle de cartographie, l'image en mouvement peut être superposée sur l'image fixe par déformation, et les points de contrôle correspondants des deux images doivent être aussi proches que possible.

Les modèles de cartographie sont classés en fonction de la quantité de données qu'ils prennent en charge :

• Modèles de cartographie globale , utilisant tous les points de contrôle pour estimer un ensemble de paramètres de modèle de cartographie valables pour l'image entière ;
• Modèles de mappage locaux , l'image est considérée comme une combinaison de nombreux petits patchs (patchs) et les paramètres du modèle dépendent de leurs positions prises en charge dans l'image, c'est-à-dire que les paramètres du modèle de mappage doivent être définis pour chaque patch .

Les modèles cartographiés sont classés en fonction de la précision de chevauchement des points de contrôle utilisés pour estimer les paramètres du modèle :

• Fonction d'interpolation (fonction d'interpolation) , qui mappe avec précision les points de contrôle de l'image en mouvement sur les points de contrôle de l'image fixe ;
• Fonction d'approximation pour trouver le meilleur compromis entre la précision de l'enregistrement final et les autres exigences. Étant donné que les points de contrôle eux-mêmes peuvent ne pas être très précis, des modèles approximatifs sont plus couramment utilisés.

4.3.3 Modèles de cartographie globale

Le modèle de cartographie globale le plus couramment utilisé : les polynômes bivariés de faible degré . Sa transformation de similarité est également la forme la plus simple, y compris la traduction, la sélection et la mise à l'échelle. Ce type de modèle est également connu sous le nom de "mappage préservant la forme" car il préserve la courbure des angles et la transformation est explicitement spécifiée par les points de contrôle.

De plus, il existe des modèles de transformation affine (toujours dans la catégorie des modèles linéaires): un modèle de transformation affine peut mapper un quadrilatère sur un carré, et le modèle est défini par 3 points de contrôle non colinéaires pour préserver les droites et le parallélisme des droites .

Un peu plus complexe est le modèle de projection en perspective : ce modèle est capable de projeter un quadrilatère sur un carré tout en préservant des lignes droites, et le modèle est défini par 4 points de contrôle indépendants.

En plus de ceux énumérés ci-dessus, il existe des modèles polynomiaux de second ordre ou de troisième ordre, mais ces modèles d'ordre élevé ne sont pas utilisés dans des applications pratiques. Parce que les modèles avancés peuvent provoquer des distorsions inutiles lors de l'alignement de l'image en mouvement avec l'image fixe. Habituellement, le nombre de points de contrôle sera supérieur au nombre minimum requis pour déterminer le modèle de cartographie, et les paramètres du modèle de cartographie sont ajustés par moindres carrés afin qu'il puisse minimiser la somme des erreurs carrées des points de contrôle.

4.3.4 Modèles de cartographie locale

Les modèles de cartographie globale peuvent ne pas gérer correctement les images déformées localement, il est donc préférable d'utiliser des modèles de cartographie locale dans les cas où l'image souffre d'une distorsion géométrique locale. Variantes des méthodes des moindres carrés pondérés et de la moyenne pondérée : mappage linéaire par morceaux [67] et mappage cubique par morceaux [68], les deux peuvent effectuer un enregistrement d'image local.

4.3.5 Fonctions à base radiale (Mappage par fonctions à base radiale)

[tous]

4.3.6 Enregistrement élastique

[tous]

5. Évaluation de l'effet d'enregistrement d'image (validation et visualisation)

Il est difficile d'évaluer quantitativement l'effet d'enregistrement de deux images, car il n'y a pas de vérité fondamentale et on ne sait pas quel est l'effet d'enregistrement optimal.

Une méthode d'évaluation consiste à simuler un modèle par ordinateur pour réaliser l'évaluation. Par exemple, une image est artificiellement traduite, pivotée et mise à l'échelle, de sorte que nous savons déjà ce qui a changé dans l'image, c'est-à-dire que nous connaissons la vérité fondamentale. Laissez ensuite l'algorithme réaliser l'enregistrement pour voir si l'effet souhaité peut être atteint, mais cette méthode n'est pas très précise en mesure clinique, et elle doit encore être mesurée visuellement. Il est également estimé en faisant manuellement une vérité terrain ou par la différence entre les structures anatomiques.

Les deux méthodes d'évaluation les plus classiques en images médicales :

• L'enregistrement d'image unimodal utilise souvent la corrélation (coefficient de corrélation, CC) pour mesurer l'effet d'enregistrement
• L'enregistrement d'image multimodal utilise souvent des informations mutuelles (Mutual Information, MI) pour mesurer l'effet d'enregistrement

De plus, une fois l'enregistrement terminé, les résultats doivent être affichés à l'utilisateur. Les méthodes d'affichage courantes incluent :

• Superposition de couleurs , superposition de couleurs deux images avec des couleurs différentes
• Fusion de pixels ou d'échiquiers entrelacés , coupez l'image en plusieurs petits carrés, affichez différentes images entre les carrés adjacents et évaluez l'effet d'enregistrement en observant la connexion entre deux petits carrés
• Affichage alterné dynamique , basculez rapidement entre deux images et observez l'effet d'enregistrement
• Affichages en vue fractionnée , affichage de deux images en parallèle
• Images de soustraction , faire la soustraction des deux images, montrant la zone de différence

---

Ouvrages de référence et revues connexes :
Algorithmes d'optimisation sur les collecteurs matriciels
Formes et difféomorphismes
Mécanique géométrique et symétrie
"Image Registration Technology and Its MATLAB Programming Implementation"
Méthodes d'enregistrement d'images : une enquête Techniques d'enregistrement d'images
 : une enquête Enregistrement d'images médicales
déformables : une enquête
examen :
Enregistrement d'images médicales de tranche à volume : une enquête
Une enquête sur l'apprentissage en profondeur dans l'analyse d'images médicales
technologie d'enregistrement d'images médicales Luo Shuqian
https://zhuanlan.zhihu.com/p/80985475

---

Références :
[1] Zitova B, Flusser J. Image registration method: a survey[J] Image and vision computing, 2003, 21(11) : 977-1000.