1. Introduction
Attention! Voir le nom connaît le sens, c'est une imitation du mécanisme de l'attention humaine. Lorsque nous voyons une image ou un texte, nous prêtons instinctivement attention aux parties les plus importantes, que nous appelons ces choses accrocheuses. Les ingénieurs informaticiens font toujours de leur mieux pour que les ordinateurs se rapprochent des humains, alors comment ajouter un mécanisme d'attention aux ordinateurs afin qu'ils puissent apprendre à se concentrer sur les points importants? Suivez-moi!
2. encodeur-décodeur
Parce que de nombreux modèles de mécanismes d'attention sont maintenant attachés au modèle Encoder-Decoder, parlons-en d'abord. Par exemple, j'ai entendu une belle femme dire: "Je pense que tu ressembles beaucoup à mon futur mari." Mon cerveau traite cette information pour former sa propre compréhension. C'est l'encodeur. Ensuite, je dois réagir à cette phrase, qui est le processus de décodage. Lors du décodage, je dois organiser la langue en fonction de ma compréhension de ce qu'elle a dit et de ce que j'ai dit auparavant. Sur la base de ma compréhension d'elle, il s'agit de rendre ma réponse pertinente par rapport à ses mots; sur la base de ce que j'ai dit auparavant, c'est de rendre ma langue fluide, de sorte que ce que j'ai dit soit un mot humain. Enfin j'ai répondu: "Je suis désolé, je suis le père que vous n'obtiendrez jamais!"
Sur la base de l'explication ci-dessus, nous résumons les principes de la formation. Nous voulons que le modèle établisse une telle relation (c'est-à-dire la phrase d'entrée et la sortie historique), et la relation entre la sortie au moment actuel. Le modèle final entraîné sait ce qu'il veut dire à chaque instant, nous le laissons parler plus vite et ce sera une phrase continue.
Ce modèle peut répondre à une telle application, étant donné une information, en sortie une autre information. Ensuite, il peut être appliqué à de nombreux aspects tels que les robots de discussion, la traduction automatique, la reconnaissance vocale et la génération de résumés d'articles. En fait, l'intelligence artificielle est la seule technologie réalisable qui puisse complètement subvertir le monde, elle dort depuis trop longtemps, et nous essayons de réveiller petit à petit ce monstre.
3. mécanisme d'attention attention
Selon l'explication dans la préface, Attention est d'ajouter une attention à ce facteur dans le processus d'exécution informatique. L'opération spécifique consiste à ajouter le poids correspondant aux informations de contexte. Comme le montre la figure ci-dessous, l'ensemble du processus est un processus de codage et de décodage, avec le codage d'entrée à gauche et le décodage de sortie à droite. La seule différence est que nous avons ajouté l'étape de calcul du poids lors de la sortie et du décodage.
Le processus de calcul de ce poids est le suivant: multipliez la valeur de la couche cachée au moment de l'entrée hi et la valeur de la couche cachée au moment avant la sortie ht, et après la fonction softmax, le poids de l'entrée hi lors du calcul de la sortie au temps ht est obtenu. En multipliant ce vecteur de contexte avec l'entrée de la couche de décodage, le résultat est la sortie à l'instant ht à travers la couche de sortie. Relier tous les moments est ensuite le texte de sortie.
En ce qui concerne le calcul de la similitude dans la figure ci-dessus, il existe deux mécanismes communs
1. BahdanauAttention: Utilisez deux W pour multiplier l'état de la couche ht-1 du décodeur et la sortie de la couche cachée du codeur. Les deux sont ajoutés via la fonction tanh, puis V (V peut être compris comme des valeurs, c'est-à-dire toutes les sorties de la couche cachée du décodeur. ) Multipliez pour obtenir le score, utilisez softmax (score) pour obtenir les poids, puis multipliez avec le contexte pour obtenir le vecteur de contexte
2. Luong Attention: Le flux de traitement est le même que le B Attention, mais lors du calcul du score, l'état au moment du décodeur ht est multiplié par W, puis multiplié par la sortie de la couche cachée du codeur.
4. Résumé
Aujourd'hui, nous avons introduit les modes d'encodage et de décodage et le mécanisme d'attention dans le traitement du langage naturel. Le mode de codage et de décodage est que le réseau gauche code les informations et le réseau droit décode les informations codées. Le décodage n'est pas une restauration du processus de codage d'origine, mais conduit à une autre forme de sortie. De cette manière, nous pouvons établir une connexion entre une information et une autre information, qui peut être utilisée pour les systèmes de réponse aux questions, la reconnaissance vocale, etc. Le mécanisme d'attention est dans le mode de codage et de décodage, ajoutant un vecteur de poids aux informations de contexte, qui représente la valeur de contribution de différents mots dans le contexte à la prédiction du moment actuel. De cette manière, notre modèle apprend à saisir les points clés. Qui utilise la similitude cosinus ou l'apprentissage du réseau pour calculer notre poids.
5. Nonsense
Tout ici est trop lourd, je pense que je ne peux plus le porter. Toutes sortes de choses ennuyeuses, toutes sortes de pressions invisibles. Personne n'est à mes côtés, en désespoir de cause, je ne peux parler qu'à l'univers. J'ai demandé aux couches de nuages sombres dans le ciel, que cachez-vous? Le monde est-il vraiment aussi compliqué qu'on le pense? Il est toujours faux d'essayer d'exprimer l'univers infini avec des pensées finies. Les plus grandes élites d'innombrables générations de l'humanité ont compilé un ensemble de jeux de devinettes à grande échelle pour la société et les ont tous joués. Je veux sortir de tout cela et voir le monde sous un jour différent. Pas pour me rendre différent, mais parce que je sais qu'ils voient le monde de la mauvaise manière. La motivation de leur recherche est d'utiliser le monde, par égoïsme arrogant. Mais je veux commencer par embrasser le monde, car je ressens l'amour le plus important pour la vie, qui semble être la puissance la plus primitive de l'univers. Et ce n'est pas ce que je peux prendre l'initiative de demander, mais le don du monde après avoir ouvert les bras.
La version live de "LOSER" de BIGBANG, l'ambiance est tellement bonne, plus agréable que d'écouter le CD!