J'aimerais utiliser cette série de messages pour enregistrer mon processus personnel d'apprentissage et de croissance audio et vidéo. Si je peux vous aider, je serai honoré ;
Cadre de principe d'enregistrement audio et vidéo :
Caméra:
Les données recueillies par la caméra peuvent être représentées par rgb/yuv , rgb est facile à comprendre, c'est-à-dire les trois couleurs primaires, rouge, vert et bleu, yuv en reparlera plus tard.
Cadre d'image :
Les trames d'image collectées, par exemple 25 trames par seconde, sont de 25 trames.
Traitement d'image:
A quoi sert ce module ? Par exemple, si notre image est sombre, nous pouvons l'éclaircir un peu, puis nous pouvons opérer dans ce module.
File d'attente de cadres d'images :
C'est-à-dire que les données que nous avons collectées seront d'abord placées dans une file d'attente de trames d'image et attendront que le thread d'encodage récupère ces données pour l'encodage.
Encodage vidéo :
Pourquoi faire de l'encodage vidéo ? Parce que si vous ne faites pas d'encodage vidéo, alors le volume de cette vidéo est très, très important . Par exemple, si vous téléchargez une image 1k, elle peut avoir 3 Mo, mais il y a beaucoup d'images dans un fichier vidéo, alors la vidéo consommera beaucoup d'espace si elle n'est pas compressée, donc ce module est nécessaire. Nous écrivons les données compressées dans un fichier selon un certain format.
-------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -----
microphone:
Les données recueillies par le microphone sont exprimées en PCM
Exemple de cadre :
La soi-disant trame d'échantillonnage consiste à utiliser N points d'échantillonnage pour compresser les données audio en une seule image; (si vous ne le comprenez pas, vous pouvez le remplacer dans le fichier vidéo, par exemple, lors de l'enregistrement d'une vidéo 1k ordinaire, il utilise 1920*1080 pixels à fusionner en une trame de données d'image) ;
En ce qui concerne la quantité de données collectées pour la compression d'encodage, par exemple, 44,1k est courant (44,1k points d'échantillonnage sont collectés en une seconde). Combien de points d'échantillonnage sont utilisés comme une image de données pour la compression ? Une seconde de données peut être compressée pour une image, mais le délai est relativement important, de sorte qu'il peut être divisé en points plus petits. Par exemple, une image peut être créée dans plus de 20 millisecondes Les données sont compressées comme ceci ;
Quand je parlerai de pcm plus tard, je dirai combien de points d'échantillonnage sont plus raisonnables pour faire une trame de données ; il suffit de le comprendre pour le moment
Traitement audio :
Parfois, certaines opérations sont effectuées sur le son, comme changer la voix, etc.
Exemple de file d'attente d'images :
Il est similaire à la file d'attente de trames d'image. Il place également les données dans la file d'attente en premier et attend que le thread d'encodage lise les données de la file d'attente, puis les compresse.
-------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -----
multiplexeur :
Lorsque nos données audio et vidéo sont écrites dans le fichier, elles sont écrites selon certaines règles, de sorte que lorsque nous les jouons, elles seront analysées selon les règles inverses, afin que les données audio et vidéo puissent être extraites et lues.
Les soi-disant règles telles que MP4, le format des fichiers multimédias tels que avi sont des règles;
horloge:
Lorsque nous jouons, l'audio et la vidéo doivent être synchronisés. S'il n'y a pas d'enregistrement d'informations d'horloge, parfois après avoir effectué certaines opérations (telles que glisser et jouer), l'image et l'audio seront désynchronisés. La vidéo est en cours de lecture les données de la première seconde, et l'audio lit les données de la dixième seconde ; nous devons donc ajouter cette horloge lors de l'enregistrement. ( L'audio et la vidéo utilisent la même horloge lors de l'enregistrement ), et chaque image de données collectées sera horodatée avec un horodatage correspondant .