Le rôle de la convolution 1*1 :
La convolution 1x1 (convolution 1x1) joue divers rôles importants dans les réseaux de neurones convolutifs (CNN). Malgré sa petite taille de noyau, il peut introduire les fonctionnalités suivantes dans le réseau :
1. Réduction de la dimensionnalité et augmentation des canaux : la convolution 1x1 peut être utilisée pour réduire le nombre de canaux d'entrée ou augmenter le nombre de canaux. En utilisant un nombre approprié de noyaux de convolution 1x1, les dimensions de canal des cartes de caractéristiques d'entrée peuvent être combinées de manière linéaire. Cette combinaison linéaire peut réduire le nombre de canaux à des dimensions inférieures pour réduire la quantité de paramètres et le coût de calcul dans le réseau, ou augmenter le nombre de canaux à des dimensions supérieures pour améliorer la puissance expressive du réseau.
2. Fusion de caractéristiques : la convolution 1x1 peut également être utilisée pour la fusion de caractéristiques. Les cartes de caractéristiques de différentes couches ou branches peuvent être fusionnées en appliquant des convolutions 1x1 sur différents canaux avec une fonction d'activation appropriée telle que ReLU. Cette fusion de caractéristiques peut améliorer la perception du réseau des différents niveaux de caractéristiques, améliorant ainsi la capacité d'expression et de classification du modèle.
3. Transformation non linéaire : bien que la taille du noyau de convolution de la convolution 1x1 soit petite, elle a toujours la fonction de transformation non linéaire. En introduisant une fonction d'activation non linéaire (telle que ReLU) dans la convolution 1x1, une transformation non linéaire au niveau de l'élément peut être effectuée sur chaque canal, ce qui aide le modèle à mieux modéliser les données d'entrée.
4. Réduction des paramètres : la convolution 1x1 peut introduire le partage des paramètres dans le réseau. Il peut réduire le nombre de paramètres dans le réseau en partageant les poids sur le même canal. Cela aide à réduire le surajustement et permet un déploiement plus efficace des modèles sur des appareils à ressources limitées.
En résumé, la convolution 1x1 a de multiples fonctions dans les réseaux de neurones convolutifs, notamment la réduction de la dimensionnalité et l'augmentation des canaux, la fusion des caractéristiques, la transformation non linéaire et la réduction des paramètres. Ces fonctionnalités font des convolutions 1x1 un outil utile lors de la conception et de l'optimisation des architectures de réseaux neuronaux convolutifs.
Types de mécanismes d'attention
Il existe de nombreux types de mécanismes d'attention, certains types de mécanismes d'attention courants sont énumérés ci-dessous :
1. Attention du produit scalaire à l'échelle : il s'agit de l'un des types de mécanismes d'attention les plus courants, utilisé pour l'auto-attention et l'attention multi-têtes. Lors du calcul du poids de l'attention, la requête (requête) et la clé (clé) sont calculées de la même manière à l'aide de l'opération de mise à l'échelle du produit scalaire.
2. Bahdanau Attention (Bahdanau attention): également connu sous le nom de mécanisme d'attention bidirectionnel ou attention additive, est un mécanisme d'attention couramment utilisé dans les modèles séquence à séquence (séquence à séquence). Il fonctionne en mappant les requêtes et les clés dans un espace intermédiaire partagé et en calculant les poids à l'aide d'un modèle additif.
3. Luong Attention (Luong attention): Semblable à l'attention Bahdanau, c'est aussi un mécanisme d'attention pour les modèles séquence à séquence. Il utilise l'opération de produit scalaire et considère éventuellement la similarité entre l'état caché du codeur contextuel et l'état caché du décodeur.
4. Transformer Attention : Il s'agit du mécanisme d'auto-attention pour le modèle Transformer. Il inclut des calculs de similarité entre les requêtes, les clés et les valeurs, et utilise une fonction softmax pour calculer les poids. Dans le même temps, ce mécanisme d'attention introduit également des mécanismes de mise à l'échelle et de masquage.
5.Attention locale : Le mécanisme d'attention locale est un type d'attention pour les longues séquences. Contrairement à l'attention globale, il se concentre et calcule uniquement sur une fenêtre locale de la séquence d'entrée.
6.Sparse Attention (attention parcimonieuse) : L'attention parcimonieuse est un mécanisme d'attention développé pour réduire la surcharge de calcul. Il considère sélectivement une partie des éléments d'entrée au lieu de tous lors du calcul de l'attention pour réduire la complexité de calcul et la consommation de mémoire.
En plus des types mentionnés ci-dessus, il existe d'autres types de mécanismes d'attention, tels que l'attention multi-échelle, l'attention au point d'intérêt, etc., qui sont des types spécifiques développés en fonction de besoins et d'applications spécifiques.
Il est important de noter que le type de mécanisme d'attention peut varier en fonction de l'architecture et du modèle spécifiques. Différents types de mécanismes d'attention conviennent à différentes tâches et domaines d'application, et leur conception et leur mise en œuvre peuvent varier. Le choix du type de mécanisme d'attention adapté à une tâche spécifique est l'une des décisions importantes dans la conception et l'optimisation des modèles d'apprentissage en profondeur.