Système de coordonnées de la caméra, système de coordonnées mondial, conversion du système de coordonnées de pixels et conversion Fov de OPENGLDEFocal Length et Opengl

Objectif : Comprendre le fonctionnement de la caméra, le rendu et les cartes de profondeur capturées par la caméra

Récemment, la relation paramétrique entre les paramètres de la caméra et les images rendues en opengl a été étudiée. La matrice du projet sera rencontrée lors du passage du système de coordonnées de la caméra au système de coordonnées des pixels.

Transformation théorique de la caméra

Connaissance de la théorie de l'apprentissage par caméra. Normalement, nous utilisons les paramètres de la caméra pour construire un projet et devons généralement passer par les deux processus suivants :
système de coordonnées de la caméra -> système de coordonnées de l'image -> système de coordonnées des pixels Supposons que nous ayons obtenu un sommet p ( xc , yc , zc ) p( x_c )
dans le système de coordonnées de la caméra$p(x_{},y_{},z_{})$ , transformé en un sommet p sur l'image$p(x_{},y_{})$ . Sa matrice de transformation est$M_{pro}$
Ci-dessous, nous présenterons quelques étapes :

1. Système de coordonnées de caméra vers système de coordonnées d'image $M_{p2c}$
   Au même endroit, différentes caméras obtiendront des images différentes. On peut voir que ce processus est généralement lié aux paramètres de la caméra. Certains paramètres de la caméra se trouvent généralement dans le manuel de la caméra, et vous pouvez également trouver le style de documentation correspondant sur Internet, et certains même dans le fichier de configuration (par exemple, les paramètres de la caméra de la caméra d'image dans le scanner). Afin de comprendre la fonction de ces paramètres, nous devons comprendre le principe de l'imagerie par caméra (imagerie des petits trous).
   
   Le système de coordonnées dans l'image est $(O^{\prime }x,O^{\prime }y)$, le système de coordonnées de la caméra est$(O_{}{X}_{},O_{}{y}_{},O_{}{z}_{})$ , pour une meilleure compréhension, convertissez la vue visuelle. Parce que$(O^{\prime }x,O^{\prime }y)$和$(O_{}{X}_{},O_{}{y}_{},O_{}{z}_{})$在$(O_{}{X}_{},O_{}{y}_{})$ parallèle. Par conséquent, selon la symétrie géométrique, le système de coordonnées de l'image est déplacé vers la position miroir, comme illustré dans la figure ci-dessous. où$\angle O{\_}_{}AB$ est un angle droit. L'image n'est pas très précise.

Car triangles semblables (1) :
$$△AB{O}_{}\sim △oC{O}_{}$$
Obtenez la formule suivante :
$$\frac{O_{}}{O_{}{Z}_{}}=\frac{oC}{UnB}=\frac{O_{}}{O_{}B}\left(1\right)$$
Une autre expression (car$O_{}$est l'origine , a changé le symbole) comme suit :
$$\frac{O_{}}{O_{}{Z}_{}}=\frac{}{Z_{}}\left(2\right)$$
$$\frac{oC}{UnB}=\frac{}{X_{}}\left(3\right)$$

Car triangles semblables (2) :
$$△AB{O}_{}\sim △oC{O}_{}$$
On obtient la formule suivante :
$$\frac{O_{}}{O_{}B}=\frac{C}{BP\_}\left(4\right)$$
Une autre expression (car$O_{}$est l'origine , a changé le symbole) comme suit :
$$\frac{C}{BP\_}=\frac{}{{Oui}_{}}\left(5\right)$$
parce que$\left(1\right)\left(2\right)\left(3\right)\left(4\right)\left(5\right)$ La formule donne :
$$\frac{}{Z_{}}=\frac{}{X_{}}=\frac{}{{Oui}_{}}$$
Converti ensuite dans la formule suivante :
$$X=\frac{F\ast X_{}}{Z_{}}\left(6\right)$$
$$y=\frac{F\ast {Oui}_{}}{Z_{}}\left(7\right)$$
parmi eux$\left(6\right),\left(7\right)$ La formule s'écrit sous forme de matrice comme suit :
$$\lfloor \begin{array}{c}X\\ y\\ \end{array}\rfloor =\lfloor \begin{array}{cccc}F& 0& 0& 0\\ 0& F& 0& 0\\ & & & \end{array}\rfloor \lfloor \begin{array}{c}{X}_{}\\ {Oui}_{}\\ Z_{}\\ \end{array}\rfloor$$
L'équation matricielle finale $M_{p2c}$Par défaut :
$$M_{p2c}=\lfloor \begin{array}{cccc}F& 0& 0& 0\\ 0& F& 0& 0\\ & & & \end{array}\rfloor$$
La formule abrégée peut être obtenue :
$$\lfloor \begin{array}{c}X\\ y\\ \end{array}\rfloor =M_{p2c}\lfloor \begin{array}{c}{X}_{}\\ {Oui}_{}\\ Z_{}\\ \end{array}\rfloor$$
[ xyz ] \begin{bmatrix} x\\ y \\ z \end{bmatrix} obtenu à ce moment$\lfloor \begin{array}{c}X\\ y\\ \end{array}\rfloor$est une unité physique. Ce n'est pas en unités de pixels, il doit donc être converti en unités de pixels, il a besoin de la longueur physique spécifique de chaque pixel. Le paramètre du capteur de la caméra est requis. Les coordonnées de la caméra en coordonnées de pixel sont décrites ci-dessous.

2. Convertir le système de coordonnées de l'image en système de coordonnées de pixels $M_{je2p}$
   Il est nécessaire de convertir le système de coordonnées de la caméra en un système de coordonnées de pixels, ce qui implique deux problèmes,
   1) Deux problèmes de système de coordonnées. Dans le système de coordonnées de l'image, l'origine est généralement au centre. Cependant, l'origine de notre système de coordonnées d'affichage de pixels traditionnel est le coin supérieur gauche de l'image, et ce vecteur doit être traduit.
   2) Problème de conversion d'unité : Il est nécessaire de savoir combien d'unités physiques (généralement mm) chaque pixel possède, et l'unité physique est le millimètre. Pour les deux conversions, vous devez connaître $d_{},d_{}$Indiquez combien de mm représentent chaque colonne et chaque ligne, et représentez la largeur d'une colonne $1pixel\_\_\_\_=d_{}mm$ ; la largeur d'une ligne$1pixel\_\_\_\_=d_{}mm$ , en général$d_{}=d_{}$. Donc xxLe pixel représenté par la$coordonnée\; x$$\frac{}{réx\_}$, le yy correspondantLe pixel représenté par$la\; coordonnée\; y$$\frac{}{dy}$
   Les deux systèmes de coordonnées représentés sur la figure sont les suivants :
   
   la formule suivante est obtenue en déplaçant le système de coordonnées :
   $$tu=\frac{}{d_{}}+{tu}_{}\left(8\right)$$
   $$v=\frac{}{d_{}}+v_{}\left(9\right)$$
   parmi eux$\left(8\right),\left(9\right)$ La formule s'écrit sous forme de matrice comme suit :
   $$\lfloor \begin{array}{c}tu\\ v\\ \end{array}\rfloor =\lfloor \begin{array}{ccc}\frac{}{d_{}}& 0& {tu}_{}\\ \frac{}{d_{}}& 0& v_{}\\ & & \end{array}\rfloor \lfloor \begin{array}{c}tu\\ v\\ \end{array}\rfloor$$
   La formule matricielle obtenue est :
   $$M_{je2p}=\lfloor \begin{array}{ccc}\frac{}{d_{}}& 0& {tu}_{}\\ \frac{}{d_{}}& 0& v_{}\\ & & \end{array}\rfloor$$

Résumez les deux transformations ci-dessus pour obtenir :
$$M_{pro}=\lfloor \begin{array}{ccc}\frac{}{d_{}}& 0& {tu}_{}\\ \frac{}{d_{}}& 0& v_{}\\ & & \end{array}\rfloor \lfloor \begin{array}{cccc}F& 0& 0& 0\\ 0& F& 0& 0\\ & & & \end{array}\rfloor$$
Enfin, la formule matrice de projection est obtenue :
$$M_{pro}=\lfloor \begin{array}{cccc}\frac{}{d_{}}& 0& {tu}_{}& 0\\ 0& \frac{}{d_{}}& v_{}& 0\\ & & & \end{array}\rfloor =\lfloor \begin{array}{cccc}{F}_{}& 0& {tu}_{}& 0\\ 0& F_{}& v_{}& 0\\ & & & \end{array}\rfloor$$
Comprendre la relation à travers la formule, obtenir $F_{}=\frac{}{d_{}}$, il indique le nombre de pixels de la distance focale (il s'agit de l'unité de pixel), de la même manière $F_{}=\frac{}{d_{}}$Il indique également le nombre de pixels. En général, $d_{}=d_{}$, et la distance focale est un, le ff dans la figure ci-dessus$f$。

Le résumé est le suivant :
$$M_{pro}=\lfloor \begin{array}{cccc}{F}_{}& 0& {tu}_{}& 0\\ 0& F_{}& v_{}& 0\\ & & & \end{array}\rfloor$$

Théorie du rendu des coordonnées OpenGL

Connaissances théoriques OPENGL basées sur la caméra. Normalement, nous utilisons les paramètres de la caméra pour créer un projet qui nécessite plus de fov, de rapport d'aspect, de proximité et de distance. Parmi eux, nous avons trouvé qu'il y a 4 paramètres dans le rendu spécifique, qui peuvent restituer avec précision les paramètres requis par l'espace, et ils sont faciles à comprendre, et ils coupent un espace pour les opérations de normalisation et les calculs de rendu faciles. Pour plus de détails, veuillez Baidu learnopengl sur les paramètres de l'appareil photo. Il définit les 4 paramètres ci-dessus. Il a deux types de projets, et je présenterai leurs principes ci-dessous :

Si vous ne les convertissez pas en fov, rapport d'aspect, proche, lointain, vous pouvez directement projeter la matrice et la compléter via glFrustum. Mais dans l'apprentissage du rendu opengl, gluPerspective est généralement utilisé, et les paramètres qu'il utilise sont fov, rapport d'aspect, proche, lointain. Nous pouvons directement définir la matrice du projet dans le shader pour obtenir la matrice du projet rendue. Il imite également gluPerspective pour générer la matrice du projet.En même temps, il peut également être converti en les quatre ci-dessus, et gluPerspective d'opengl peut vous aider à générer la matrice du projet. Quoi qu'il en soit fonctionne bien.
1) Les paramètres de la caméra sont convertis en quatre paramètres de fov, rapport d'aspect, proche et lointain.
Comprenez d'abord ces quatre paramètres :
1) Champ de vision (FOV), rapport d'aspect Le rapport d'aspect
est le rapport x/y de l'image finale affichée
FOV : Indique l'angle du champ de vision ouvert, voir la figure ci-dessous.
2) proche et lointain représentent la distance entre les plans tangents éloignés et proches et l'origine, voir les deux plans parallèles sur la figure.

La relation dans l'image ci-dessus peut être vue :

si vous avez besoin de rendre une image cohérente avec l'image, l'image est exprimée en img, et nous définissons le rapport d'aspect et le FOV à travers l'image
Selon la définition, ratio est le rapport x/y de l'image finale affichée, et
la formule calculée est la suivante :
$$unaspect\_\_\_\_=\frac{jemg.col}{jemg.rangées\_\_\_}$$
Dans la formule ci-dessus, top correspond à la moitié de l'axe y, c'est-à-dire la largeur de pixel dans le système de coordonnées de pixel, qui est
$$haut\_\_=\frac{pixelwidt}{2.0}$$
Parmi eux, près correspond à la distance focale (système de coordonnées pixel), qui est dans le système de coordonnées pixel. L'unité est unifiée.
Plus tard converti en la formule suivante :
$$FOV\_=2.0\ast atanf\left(\frac{pixelwidt}{2.0\ast longueurfocale\_\_\_\_\_\_\_\_\_}\right)\ast \frac{}{180.0}$$
La distance définie pour près et loin peut être aussi proche ou aussi loin que possible.
Sa matrice est la suivante :

Après réglage, l'image rendue est cohérente avec l'image captée par la caméra.

Ensuite pour rejoindre le processus de dérivation.