Original | Texte de BFT Robot
Avec le développement rapide de l’intelligence artificielle et de la robotique, la technologie de mesure de formes tridimensionnelles en temps réel est devenue de plus en plus importante. Étant donné que les robots fonctionnent généralement dans des environnements dynamiques, la technologie de mesure de forme 3D des équipements robotisés doit être capable d'obtenir des informations de forme 3D à partir d'objets en mouvement en temps réel. La future technologie de vision industrielle 3D repose en fait sur le développement de technologies d’acquisition et de mesure de données 3D en temps réel. La technologie de mesure de forme tridimensionnelle de haute précision en temps réel est très demandée par les scientifiques et les ingénieurs dans de nombreux domaines tels que la chirurgie médicale, l'ingénierie biomédicale, la fabrication intelligente et les industries du divertissement.
Selon l'équipement utilisé et les principes de fonctionnement, la technologie de mesure de forme 3D en temps réel peut être divisée en trois catégories : la technologie de lumière structurée (SL), la technologie de vision stéréo (SV) et la technologie de temps de vol (TOF). À ce jour, toutes ces technologies ont connu un grand succès dans le monde universitaire et commercial.
La technologie de la lumière structurée est inventée depuis des décennies. L'une des méthodes représentatives est la méthode de déphasage proposée dans les années 1980, qui utilise quatre déphasages pour calculer un diagramme de phase avec une solution analytique. Cette approche est encore utilisée aujourd’hui, utilisant souvent plusieurs fréquences pour augmenter sa robustesse. Jusqu'à présent, outre les modèles de phase sinusoïdale, de nombreuses autres méthodes de mesure de forme tridimensionnelle ont été proposées, et des méthodes spécifiques sont souvent conçues pour différents modèles, ce qui rend la technologie de la lumière structurée de plus en plus diversifiée.
Cependant, la plupart des méthodes de lumière structurée ponctuelle proposées sont limitées par le goulot d’étranglement du traitement d’image. Par conséquent, les méthodes de mesure de formes tridimensionnelles basées sur la lumière structurée font toujours l’objet de recherches universitaires. Afin de répondre aux besoins d'acquisition de données en temps réel, de nombreux chercheurs ont adopté des caméras et des projecteurs à grande vitesse et ont réduit le nombre de modèles de phase projetés (généralement en utilisant trois modèles) pour permettre aux méthodes de déphasage de mesurer des objets dynamiques. Étant donné que la vitesse d'acquisition des données est bien supérieure à la vitesse de déplacement de l'objet testé, un nombre très limité de modèles sinusoïdaux ou binaires peut être utilisé pour calculer de manière robuste la carte de phase. Étant donné que ce type de méthode de mesure de forme tridimensionnelle projette et capture plusieurs motifs, elle est limitée à la mesure d'objets dynamiques avec un mouvement relativement lent.
Pour éliminer cette limitation, des méthodes uniques de mesure de forme tridimensionnelle ont été étudiées. Une approche populaire consiste à coder trois modèles de déphasage dans les canaux RVB de la caméra. Une fois le motif de phase de couleur acquis, il peut être décodé en trois motifs de déphasage distincts par différentes méthodes. Enfin, la profilométrie à déphasage est utilisée pour calculer les informations de forme tridimensionnelle.
Une autre méthode populaire de mesure de forme 3D de lumière structurée est la profilométrie à transformée de Fourier (FTP), proposée pour la première fois dans les années 1980. Depuis, cette méthode a été largement étudiée par des chercheurs du monde entier. De nombreuses méthodes ont été proposées pour améliorer les performances de FTP. Par exemple, un modèle amélioré est proposé pour supprimer les contraintes géométriques sur le placement du projecteur et de la caméra. Dans , un motif à bandes croisées est utilisé pour améliorer la résolution de FTP. En plus de la profilométrie par transformée de Fourier, il existe également la profilométrie par transformée en ondelettes. Dans , les auteurs rapportent que la profilométrie par transformée en ondelettes et la profilométrie par transformée de Fourier fenêtrée sont supérieures à la profilométrie par transformée de Fourier. Cependant, autour des discontinuités dans la carte de phase, toutes les méthodes basées sur la transformation fonctionnent mal et nécessitent des investigations plus approfondies.
En plus de la méthode unique mentionnée ci-dessus basée sur des modèles de phase, il existe également des méthodes de lumière structurée unique basées sur des modèles de points, des méthodes de lumière structurée unique basées sur des modèles de lignes et des méthodes de lumière structurée unique basées sur motifs de lignes croisées. Bien que les principes de reconstruction de forme 3D de ces méthodes soient tous basés sur la triangulation et l’étalonnage, les algorithmes de traitement d’images utilisés par ces méthodes sont très divers. Certains d’entre eux sont basés sur des algorithmes de segmentation pour extraire les modèles capturés, tandis que d’autres sont basés sur des algorithmes de détection de contours ou de caractéristiques. Dans , les auteurs calculent de manière robuste des cartes de phase à partir de motifs de lignes torsadées, établissant ainsi avec succès la relation de conversion entre les méthodes de lumière structurée basées sur la phase et les méthodes de lumière structurée sans phase. Par rapport aux méthodes de lumière structurée basées sur des modèles de phase, les méthodes de lumière structurée basées sur des modèles sans phase sont plus résistantes aux interférences lumineuses.
Technologie de lumière structurée
1.1
profilométrie à déphasage
Le profilage par déphasage à prises multiples est très populaire dans le monde universitaire et industriel depuis sa proposition dans les années 1980. Avec le développement de caméras et de projecteurs à grande vitesse, la vitesse de mesure du profil de déphasage peut répondre aux exigences en temps réel. Malgré de nombreuses innovations et améliorations dans la conception des modèles de phase, les méthodes de calcul de phase et les algorithmes de déroulement de phase, le principe de fonctionnement de la profilométrie de déphasage reste le même. Voici comment cela fonctionne:
Conception d'un motif de phases : Tout d'abord, concevez un motif de réseau ou de rayures avec différentes phases, dont la représentation mathématique est présentée dans la formule (1). Ces motifs sont généralement projetés sur la surface de l'objet à mesurer par un projecteur.
Les paramètres de la formule (1) sont expliqués comme suit :
Ii(x, y) représente l'intensité lumineuse à la position (x, y) dans le modèle de phase conçu.
I0 est une constante.
u est la phase conçue, généralement exprimée par 2πfx, où f est la fréquence du modèle de phase.
ai est la valeur de décalage du i-ème modèle de phase.
N est le nombre total de modèles de phases décalées.
(x, y) représente la position dans le modèle de phase conçu avec une résolution X x Y.
Capture d'images : une caméra à grande vitesse capture des images d'objets éclairés par des motifs projetés, chaque image correspondant à une phase différente du motif.
Calcul de phase : en analysant la distorsion des réseaux ou des rayures dans ces images, les informations de phase sur la surface de l'objet peuvent être calculées. Cela nécessite généralement l'utilisation d'une série d'images déphasées et des méthodes analytiques peuvent être utilisées pour calculer la valeur de phase pour chaque pixel.
Reconstruction de forme tridimensionnelle : grâce aux informations de phase connues, la forme tridimensionnelle peut être reconstruite pour obtenir les informations de coordonnées tridimensionnelles de la surface de l'objet.
1.2
Une mesure de profil de déphasage
Il conçoit trois modèles de déphasage, respectivement dans le canal R, le canal G et le canal B de l'image couleur.
Ce motif combiné de couleurs déphasées est projeté sur l’objet en un seul passage et capturé par une caméra vidéo couleur. Les modèles de distorsion à trois phases capturés dans les canaux R, G et B (représentés sur la figure 4 (b)) sont ensuite calculés sous forme de bitmaps de distorsion. Enfin, si le modèle de phase conçu utilise des fréquences élevées, un déroulement de phase est nécessaire. Il est rapporté que cette méthode permet d'atteindre une précision de mesure d'environ 0,5 mm. La plupart des références ne fournissent pas de précision de mesure quantitative.
1.3
Profilométrie à transformée de Fourier
Le diagramme de phase conçu est représenté par la série de Fourier :
Une fois la carte de phase conçue projetée sur l'objet mesuré, la carte de phase de déformation observée par la caméra CCD peut être exprimée comme suit :
Sur le plan de référence, le diagramme de phases peut s’écrire :
Dans le domaine fréquentiel, un filtre passe-bande centré en f0 est utilisé pour sélectionner les composantes fondamentales avec n = 1. Les composantes fondamentales du motif de phase affecté par la déformation sont ensuite calculées via la transformée de Fourier inverse.
Les composantes fondamentales du modèle de phase affecté par la déformation sont ensuite calculées via une transformée de Fourier inverse.
En combinant les deux formules ci-dessus, nous obtenons :
Cette section présente les méthodes de mesure de forme tridimensionnelle basées sur la transformée de Fourier, qui impliquent différentes variantes techniques. Le principe de base est de créer un motif de phase à l'aide d'un motif déphasé ou d'un motif composite, puis d'extraire les informations de phase déformées de l'image capturée via une transformée de Fourier.
1.4
Méthode mono-coup basée sur des modèles de points
Ce type de méthode est basée sur des modèles matriciels et est utilisée pour résoudre le problème de correspondance entre la caméra et le projecteur. En fonction de la méthode de conception de motifs de points, différentes méthodes de traitement d'image sont proposées et utilisées pour segmenter des points ou extraire des points caractéristiques. Avec suffisamment de points, la forme tridimensionnelle d’un objet peut être mesurée de manière robuste. L'article mentionne quelques modèles de points de conception typiques. La figure montre les formes de marques conçues selon différentes méthodes. Bien que leurs formes soient différentes, leurs principes sont similaires. Une marque conçue correspond à un seul point. La profondeur est calculée par triangulation point à point entre la caméra et le projecteur. Selon différents modèles de points de conception, différents algorithmes de traitement d'image sont proposés pour calculer la localisation des points. La précision du traitement des images détermine dans une large mesure la précision des mesures.
1,5
Méthode mono-coup basée sur des motifs de lignes
Semblable à la méthode basée sur le tracé de points :
1.6
Méthode de tir unique basée sur les hachures croisées
C'est une méthode qui utilise un ensemble de lignes croisées ou de bandes croisées pour résoudre le problème de correspondance entre la caméra et le projecteur. En règle générale, les lignes horizontales et verticales d'un motif hachuré sont de couleurs différentes pour faciliter l'identification des lignes. Dans ces motifs, des lignes de même couleur sont disposées parallèlement. La profondeur est calculée en triangulant les lignes horizontales et verticales entre la caméra et le projecteur.
1.7
Méthode de codage optique
Les méthodes de codage de la lumière représentent une évolution dans la technologie de la lumière structurée. Au lieu d'utiliser des modèles de lumière structurés soigneusement conçus, il utilise des points aléatoires pour calculer la profondeur par triangulation entre la caméra et le projecteur spot. Le principe du calcul de profondeur par triangulation fait intervenir des paramètres tels que la longueur de la ligne de base (b), la distance du plan de référence (Z0), la distance focale de la caméra infrarouge (f) et la parallaxe observée dans les coordonnées de la caméra (d). Ces paramètres sont déterminés par calibrage et la profondeur (Zk) est calculée par :
Lorsqu’un faisceau laser est projeté sur une surface à réflexion diffuse, des points de diffraction se forment de manière aléatoire. Les spots sont très aléatoires et changent avec la distance. La génération du motif moucheté dépend de facteurs tels que la longueur d'onde de la lumière laser, la taille du faisceau laser et la distance entre la surface à réflexion diffuse et le plan de visualisation.
Étant donné que les motifs de points sont très aléatoires, leur précision de traitement d’image est généralement inférieure à celle des motifs soigneusement conçus. Après calibrage, la meilleure précision de mesure peut atteindre 1 mm, alors que d’autres études ont signalé des erreurs de mesure plus élevées. Par exemple, dans une étude, la précision de la reconstruction de la pose était de 3,9 centimètres, tandis que dans une autre étude, la précision de la reconstruction du corps humain était de plusieurs centimètres. Dans une autre étude, les erreurs de récupération de la posture des mains variaient entre 5 mm et 25 mm. Les méthodes de codage optique offrent généralement une précision de mesure inférieure à celle des autres méthodes de lumière structurée, mais présentent l’avantage d’être abordables et polyvalentes.
1.8
Méthodes basées sur l'apprentissage profond
Les méthodes de lumière structurée basées sur l'apprentissage profond constituent un développement relativement nouveau qui utilise des réseaux neuronaux d'apprentissage profond pour la mesure de formes tridimensionnelles. Ces méthodes établissent une relation de cartographie non linéaire entre la phase de distorsion et la hauteur grâce à un apprentissage en profondeur. Cela permet des mesures de forme tridimensionnelles à partir d’une seule prise du motif de phase projeté. Cependant, ces méthodes s'appuient fortement sur l'ensemble de formation, et leur précision dépend de la qualité et de la diversité des données de formation.
Dans certaines études, les méthodes de lumière structurée basées sur l'apprentissage profond ont atteint une précision de mesure de 0,076 % lorsqu'elles étaient entraînées à l'aide de données du monde réel. Cependant, la formation utilisant des ensembles de données simulées a entraîné une précision de mesure inférieure d'environ 0,7 %. Lorsqu’elles sont bien entraînées avec des ensembles de données appropriés, le potentiel de précision des méthodes basées sur l’apprentissage en profondeur peut approcher les niveaux de précision des méthodes traditionnelles à lumière structurée.
Auteur | Ning Yao a violemment battu Xiaopingan
Composition | Xiaohe
Critique |Orange
Si vous avez des questions sur le contenu de cet article, veuillez nous contacter et nous vous répondrons dans les plus brefs délais. Si vous souhaitez en savoir plus sur les informations de pointe, n'oubliez pas d'aimer et de suivre~