ADAS image de la caméra couture algorithme d' arpentage
Les interfaces d'entrée et de sortie
Contribution:
(1) quatre caméras capture résolution de l'image vidéo (int int)
(2) quatre caméras de capture format d'image vidéo (RVB, YUV, MP4, etc.)
(3) des paramètres d'étalonnage de l'appareil (en position centrale (x, y) et cinq distorsion
Coefficient (2 radialement, tangentiellement 2, la nervure 1), le flotteur de type à virgule flottante)
(4) les paramètres d'initialisation de l'appareil (position de caméra initiale et trois directions de coordonnées
Angle de rotation, la vitesse du véhicule, etc. hauteur largeur, flotteur flottant)
Production:
(1) d'image / image vidéo épissure par fusion et la position de coordonnées (type float virgule flottante)
(2) et de l'image des images de résolution vidéo épissée par fusion (int int)
(3) a rejoint l'image et de l'image format vidéo de fusion (RVB, YUV, MP4, etc.)
(4) entourant l'avertissement d'obstacle d'un véhicule (caractère char)
22,1 Fonction Définition
1) les coordonnées de position de fusion d'image image / vidéo et les coutures de calcul.
2) est calculée et la fusion d'images épissé résolution de l'image vidéo.
3) la détermination d'une couture d'image et le format vidéo de fusion d'image.
4) détecte un obstacle autour du véhicule et la police.
22,2 technologie plan de la feuille de route
360 ° vue panoramique sur l'assistance au stationnement système, installé à l'avant du véhicule, arrière, gauche caméra grand-angle, et quatre bonnes directions autour du véhicule, les images vidéo acquises par l'image à synthétiser une technologie de raccordement par fusion et vue panoramique autour du corps, Enfin, dans l'écran d'affichage de la console centrale pour élargir le champ de vision du conducteur. 360 ° vue panoramique sur le système d'aide au stationnement, un conducteur assis dans une voiture pour voir visuellement si un véhicule est présent autour de l'orientation relative et la distance à l'obstacle et l'obstacle, pour véhicule de manutention calme dans un parking étroit dans la congestion du stationnement bit ou par une route complexe, qui peut prévenir efficacement les accidents grattent pratiquement, collision, chute et ainsi de suite. Dans le même temps, la vue panoramique peut être reconnu comme un système de conduite automatique, la détection, l'algorithme de suivi fournit un support.
La technologie d'imagerie vidéo Fujitsu (Fujitsu) développés, peut atteindre 360 ° réelle complète vue entourant le véhicule. Four caméra est montée autour de la périphérie de l'avant et à l'arrière du véhicule, l'image vidéo de l'environnement du véhicule synthétisés par Fujitsu technologie de conversion projection / point de vue virtuel en 3D. Avancés algorithmes en trois dimensions peuvent être combinés plus facilement quatre images de la caméra indépendante pour fournir une transparente et vue dégagée sur 360 °. Plus précisément, quatre images de la caméra sont transmises au traitement vidéo du LSI, et comprend une fonction de capture vidéo 3D, puis les images de la caméra en une seule image en 3D en temps réel et projetées dans la cuvette en forme de grille en trois dimensions, de générer la vidéo d'un 3D virtuel, qui peut être changé perspective de l'environnement du véhicule.
1. Programme d'arpentage figure Organigramme Fujitsu
Afin de répondre aux besoins réels de l'épissage vidéo, en tenant compte de la position de la caméra installée position mutuelle entre les angles et les différentes caméras relativement fixes, une méthode de raccordement vidéo multi-vues basé sur la combinaison de la mosaïque d'image spécifique à la table de consultation porte dans ce projet. Dans la phase d'initialisation, préalablement acquis première placée sur l'avant du véhicule, à l'arrière, avec une image d'étalonnage de l'échiquier à gauche et quatre directions droite, l'image de calibration à l'aide des quatre caméras sont étalonnage de paramètres calculées et stockées pour chaque distorsion de l'image de la caméra paramètre de correction d'étalonnage pour la correction de la distorsion d'image, l'élimination d'une distorsion de l'image de la caméra, puis l'image d'étalonnage après correction de la distorsion réalisée transformation projective, calculée et stockée paramètre de transformation projective; ensuite recueilli précédemment placé à l'avant du véhicule, à l'arrière, à gauche et à droite quatre orientation d'image spécifique avec des points caractéristiques riches, et la distorsion est corrigée par le paramètre de correction de distorsion d'image de l'appareil de recherche, en consultant les paramètres de transformation projective image spécifique après correction dans un oiseau; extraction de quatre dernier oiseau ORB (Oriented FAST et pivotées BREVE) et les caractéristiques d'adaptation grossière, à l'aide de RANSAC (échantillon aléatoire algorithme de consensus, de l'échantillonnage aléatoire uniforme) éliminer les points correspondants faux, et en ajustant la valeur initiale d'une matrice d'homographie, puis en utilisant l'algorithme de Levenberg-Marquardt non linéaire itératif moins Approximation de raffinement, après l'enregistrement de l'image, l'épissage par fusion et génère 36 0 ° vue panoramique sur la vue. Au cours du système d'aide au stationnement est activée, le sauvé en regardant paramètre de correction de distorsion de l'image de la caméra, et les paramètres de transformation projectifs Homographie paramètres, les images vidéo de quatre caméras est épissés pour générer une vue virtuelle d'une vue panoramique.
Étant donné que les paramètres d'étalonnage de la caméra interne et externe d'une grande influence sur la précision de l'effet de l'image projetée, exige une combinaison d'une caméra montée dans le cas particulier où l'algorithme d'ajustement, pour répondre aux besoins des systèmes temps réel embarqués ont besoin algorithme d'optimisation continue, dans la mesure du possible de simplifier l'automatisation des processus ou processus.
Figure 2. Le débit de l'algorithme
3. Le système de coordonnées de caméra de la figure et
Les principes mathématiques, un point dans le système de coordonnées 
. Projetée sur le pixel du plan image (u, v) le processus de passer par transformation de coordonnées homogènes:
Dans laquelle, s est un facteur arbitraire d'échelle non nulle; αu = f / dx, f est la longueur focale de la caméra, dx axe x représente la direction de la largeur d'un pixel 
est une image dans le facteur d'échelle u-axe, appelé retour ou de l' axe u d'une distance focale;
Dans lequel dy axe y représente une direction de la hauteur du pixel, un facteur d'échelle de l' image [alpha] v v dans l'arbre, autrement connu comme v normalisé axe focal; 
elles sont la caméra du système de coordonnées par rapport au système de coordonnées du vecteur de rotation; 
une caméra du système de coordonnées par rapport au vecteur de translation dans le système de coordonnées; Ml faite 
seulement avec l'appareil des paramètres internes décisions, caméra appelée matrice de paramètre interne; M2 par la caméra par rapport à l'orientation du système de coordonnées est déterminée, appelée matrice de paramètres externe de la caméra; M est une matrice 3 x 4, dite matrice de projection est utilisée pour calculer la conversion du système de coordonnées de l'image système de coordonnées. Vu, si les paramètres de la caméra internes et externes sont connus, il est possible de connaître la matrice de projection M, pour un point quelconque, si elle est connue espace de coordonnées spatiales 
, il est possible d'obtenir les coordonnées de pixel (u, v) correspond.
Zhang méthode d'étalonnage Zhengyou, en utilisant une grille comme une cible plane de l'étalon, le système de coordonnées peut être configuré dans le plan Zw = 0.
Dans lequel, 
et 
sont coefficient de distorsion radiale. La formule (3) en forme matricielle
Ce sont la formule de correction de la distorsion.
Ce sont la transformation projective.
Ce sont la correction de la distorsion et la transformation projective de coordonnées de pixels correspondant à la formule.
Ce qui précède est une solution mosaïque d'image de la matrice d'homographie formule.
Ce sont la région de chevauchement d'épissage de fusion moyen de la méthode.
Ce sont le modèle navire 3-D matrice de transformation en perspective.
4. fusion alpha Fig.
22.3 Les paramètres techniques clés et des indicateurs de performance
En regardant autour d'un type de système d'évaluation de l'effet et l'épissage de réglage fin automatique des points caractéristiques d'adaptation est basée, caractérisé par: comprenant les étapes consistant à:
Etape A, l'image obtenue avant l'épissage, et la position de l'image découpée est calculée d'après les mêmes paramètres capturés épissage;
Etape B, dans un algorithme adaptatif de points caractéristiques pour obtenir la même position de rotation avant de la matrice de traduction de raccordement image;
Procédure C, la rotation ou de la matrice de traduction soit des informations d'angle et des informations de déplacement du système de repérage de l'indice d'évaluation calculé comme effet mosaïque, et utiliser cette matrice pour ajuster l'effet de mosaïque.