Li Hongyi 2020 Notes de cours d'apprentissage automatique (2)

Rubrique connexe : Résumé des données d'apprentissage automatique de Li Hongyi en 2020

• Li Hongyi 2020 Notes de cours d'apprentissage automatique (1)

4. CNN

Réseau neuronal convolutif (P17)

Tout d'abord, M. Li Hongyi a expliqué pourquoi CNN est utilisé pour traiter les images.

Q : Évidemment, DNN peut également traiter des images, alors pourquoi utiliser CNN ?

R : Le DNN ordinaire utilise une couche entièrement connectée avec un nombre particulièrement élevé de paramètres. Par conséquent, DNN peut être simplifié en CNN en fonction des caractéristiques de l'image, sur la base des observations suivantes (caractéristiques) :

1. Certains modèles sont beaucoup plus petits que l'image entière, et un neurone n'a besoin de découvrir que ces modèles, pas l'image entière. Par exemple : dans la reconnaissance faciale, certains sont responsables de l'identification des yeux, certains sont responsables de l'identification des nez, certains sont responsables de l'identification des bouches, etc. Associez quelques petites régions à un petit nombre de paramètres.
2. Le même motif peut apparaître dans différentes régions de l'image. Par exemple : en reconnaissance faciale, la position du nez sur la carte peut être différente, il peut être au milieu, il peut être en haut, ou il peut être en bas. Faites à peu près la même chose avec le même ensemble de paramètres.
3. Le sous-échantillonnage de l'image ne modifiera pas les objets de l'image. Le sous-échantillonnage rend l'image plus petite et réduit les paramètres.
   
   

La couche de convolution est pour la fonctionnalité 1 et la fonctionnalité 2, et la couche Max Pooling est pour la fonctionnalité 3.

AlphaGO a également utilisé CNN pour jouer au Go, car la carte Go satisfait également les deux caractéristiques de 1 et 2.

Le professeur Li Hongyi a d'abord présenté le processus CNN dans son ensemble, puis a présenté respectivement l'opération de convolution et l'opération de mise en commun maximale.

Le CNN global est le suivant :
une image traverse plusieurs fois la couche convolutive + la couche de mise en commun, puis est aplatie et classée via un réseau de neurones à propagation directe entièrement connecté (classificateur).

Il existe certains filtres dans l'opération de convolution, également appelés noyaux de convolution, qui sont équivalents aux neurones du réseau neuronal et doivent être appris.
Les filtres sont des matrices, qui sont responsables de l'extraction des caractéristiques de l'image et de l'exécution de la carte des caractéristiques (

carte des caractéristiques $M\times$Multipliez les éléments dans les positions correspondantes dans la matrice de$N\; ,\; puis\; accumulez\; les\; produits.Il\; est\; recommandé\; de\; regarder\; la\; vidéo\; pour\; comprendre.$
Dans la figure ci-dessous,$3=1\times 1+0\times (-1)+0\times (-1)+0\times (-1)+1\times 1+0\times (-1)+0\times (-1)+0\times (-1)+1\times 1$
CNN faisant une convolution équivaut à supprimer certains poids dans la couche entièrement connectée de DNN, par exemple :$3\times Un\; filtre\; de\; 3$ équivaut à ne connecter que 9 entrées au lieu de se connecter complètement.

Par conséquent, un noyau de convolution est un paramètre partagé de plusieurs neurones, ce qui réduit les paramètres de CNN par rapport à DNN.

La couche de regroupement maximal (Max Pooling) effectue un sous-échantillonnage.

Par exemple : le chiffre ci-dessus est divisé en $2\times 2$ régions pour le sous-échantillonnage, sélectionnez chacune$2\times$La plus grande valeur dans la zone de$2\; est\; utilisée\; comme\; valeur\; de\; cette\; zone.$

Après cela, M. Li Hongyi a expliqué comment créer CNN dans Keras (car il s'agit de la vidéo précédente, donc Keras a été utilisé et PyTorch a été utilisé dans les devoirs de 2020) et la taille de l'image d'entrée après avoir traversé chaque couche de CNN.

Bien que les outils utilisés soient différents, les paramètres du CNN sont calculés et la taille de l'image après chaque couche du CNN est calculée de la même manière.

Par exemple:

1. La taille de l'image d'entrée est $1\times 28\times 28$ (image en niveaux de gris monocanal, la longueur est de 28 pixels, la largeur est de 28 pixels).
2. Il passe par la première couche de convolution, la couche de convolution a 25 noyaux de convolution, chaque taille de noyau de convolution est de $3\times 3$ , alors la taille de l'image de sortie est$25\times 26\times 26$ , chaque noyau de convolution a$3\times 3=9$ paramètres, donc un total de$25\times 3\times 3=225$ paramètres.
3. Il passe par la première couche de regroupement maximale et la taille de l'image de sortie est de $25\times 13\times 13$ .
4. Il traverse une deuxième couche convolutive avec 50 noyaux convolutifs chacun de taille $3\times 3$ , alors la taille de l'image de sortie est$50\times 11\times 11$ , chaque noyau de convolution a$25\times 3\times 3=225$ paramètres, donc un total de$50\times 25\times 3\times 3=11250$ paramètres.
5. Il passe par la deuxième couche de regroupement maximale et la taille de l'image de sortie est $50\times 5\times 5$ .

Après cela, M. Li Hongyi a présenté ce que chaque couche de CNN pourrait apprendre (quelques modèles étranges), et enfin, a présenté certaines applications de CNN, telles que : Deep Dream, Deep Style, AlphaGo, reconnaissance vocale, traitement de texte, etc.

5. GNN

* Nouveau contenu en 2020, les assistants pédagogiques
sont encore un peu confus, alors écoutez-le. Plus tard, après l'avoir revu, le blogueur a estimé que c'était mieux que la plupart des vidéos sur GNN sur Internet.Laissons d'abord un trou et revenons plus tard pour mettre à jour.

Réseau neuronal graphique (1_2) (facultatif) (P18)

Réseau neuronal graphique (2_2) (facultatif) (P19)

6. Semi-encadré

Parce que ce qui suit se concentrera sur RNN, la relation entre ce P et RNN n'est pas très grande, mais je pense qu'il peut être plus cohérent d'apprendre cette partie d'abord, puis de regarder RNN, donc je vais le mentionner séparément et l'écrire en premier.

Semi-supervisé（P22）

Tout d'abord, M. Li Hongyi a présenté la signification de l'apprentissage supervisé et de l'apprentissage semi-supervisé, et pourquoi il existe un apprentissage semi-supervisé.

Apprentissage supervisé : jeu
de données étiqueté $\left\{\right(x^r,y^r){\}}_{r=1}^{}$

Apprentissage semi-supervisé :
jeu de données étiqueté $\left\{\right(x^r,y^r){\}}_{r=1}^{}$, pas d'indice $\left\{\right(x^{tu}){\}}_{u=R}^{R+}$, et $tu>>$
L'apprentissage semi-supervisé$R\; est\; divisé\; en\; deux\; types\; :$

• Apprentissage transductif : les données non étiquetées sont des données de test (données de test)
• Apprentissage inductif : les données non étiquetées ne sont pas des données de test (données de test)

Q : Pourquoi un apprentissage semi-supervisé ?
R : Dans la vraie vie, il est facile de collecter des données dans l'apprentissage automatique, mais il n'est pas facile de collecter des données étiquetées .

L'enseignant Li Hongyi a présenté comment faire un apprentissage semi-supervisé pour le modèle génératif dans le modèle génératif.

Le modèle de génération supervisée a été mentionné dans P11, étant donné un échantillon d'apprentissage étiqueté $X^r\in C_{},C_{}$

• Trouver la probabilité a priori maximale $P\left(C_{}\right)$ et la probabilité dépendante de la classe$P(x|C_{}）$
• $P(x|C_{})$ est une distribution gaussienne, en moyenne$m^i$ et variance$\Sigma$ invarianceP ( C 1 ) , P ( C 2 ) , µ 1 , µ 2 , Σ P(C_1),P(C_2),\mu^1,\mu^2,\
  Sigma$P\left(C_{}\right),P\left(C_{}\right),m^1,m^2,Après\; \Sigma$ , vous pouvez calculer$$P(C_{}|x)=\frac{P(x|C_{}\left)P\right(C_{}}{P(x|C_{}\left)P\right(C_{})+P(x|C_{})P\left(C_{}\right)}$$
  

Dans l'apprentissage semi-supervisé, il y a des problèmes avec les modèles génératifs. Comme illustré dans la figure ci-dessous, supposons que le vert dans la figure ci-dessous correspond à des données sans étiquette. La ligne continue est la distribution gaussienne calculée sur les données étiquetées , alors qu'en réalité la distribution gaussienne pourrait ressembler à la ligne pointillée si ces données non étiquetées avaient des étiquettes.
En d'autres termes, les données non étiquetées $X^{uSoit}$ P ( C 1 ) , P ( C 2 ) , µ 1 , µ 2 , Σ P(C_1),P(C_2),\mu^1,\mu^2,\Sigma$P\left(C_{}\right),P\left(C_{}\right),m^1,m^2,\Sigma$ , et même affecter la frontière de décision.

Algorithme de modèle génératif semi-supervisé (algorithme EM) :
paramètres d'initialisation $je=P\left(C_{}\right),P\left(C_{}\right),m^1,m^2,\Sigma$
Step 1 (Espérance-step) selon le modèle$\theta Calculer$ la probabilité a posteriori des données non étiquetées$P_{}(C_{}|X^u)$
Pas 2（Pasmaximal） 更新模型：
$$P\left(C_{}\right)=\frac{N_{}+{\sum }_{X^{}}P(C_{}|X^{tu}}{N}$$

$$m^1=\frac{}{N_{}}\underset{X^r\in C_{}}{}{X}^r+\frac{}{{\sum }_{X^{}}P\left(C_{}|X^{tu}\right)}\underset{X^{tu}}{}P\left(C_{}|X^{tu}\right)X^{Parmi\; eux}$$
,$N$ est le nombre total d'échantillons,$N_{}$est dans la catégorie $C_{}$nombre d'échantillons.

Retour à l'étape 1

Remarque : L'algorithme finira par converger, mais les paramètres initialisés affecteront le résultat.

Q : Pourquoi l'algorithme EM est-il réalisable ? Quel est le support théorique derrière cela?
R :
1. Utiliser des données étiquetées pour maximiser la vraisemblance - solution analytique
$$journal\_L\left(je\right)=\underset{X^r}{}journal\_P_{}\left(x^r,y^r\right)$$

$$P_{}\left(x^r,y^r\right)=P_{}\left(x^r|y^r\right)P\left(y^r\right)$$
2. Utiliser à la fois des données étiquetées et des données non étiquetées pour maximiser la vraisemblance -solution itérative
$$journal\_L\left(je\right)=\underset{X^r}{}journal\_P_{}\left(x^r\right)+\underset{X^{tu}}{}journal\_P_{}\left(x^{tu}\right)$$

$$P_{}\left(x^{tu}\right)=P_{}\left(x^{tu}|C_{}\right)P\left(C_{}\right)+P_{}\left(x^{tu}|C_{}\right)P\left(C_{}\right)$$

$X^{tu}$ peux appartenir à la catégorie$C_{}$ou $C_{}$

Ensuite, M. Li Hongyi a présenté la séparation à faible densité.

La séparation à faible densité est un monde "noir et blanc", c'est-à-dire qu'il existe une ligne de démarcation très claire entre les deux catégories.

La méthode la plus simple de séparation à faible densité est l'auto-formation

Donné : Ensemble de données étiqueté $\left\{\right(x^r,y^r){\}}_{r=1}^{}$, pas d'indice $\left\{\right(x^{tu}){\}}_{u=R}^{R+}$

répéter:

1. Former un modèle f ∗ f^* à partir de données étiquetées$F^{\ast }$
2. Mettre $F^{\ast }$ APPLICATION À 无标签数据集，获得$\left\{\right(x^{toi},y^{tu}){\}}_{u=R}^{R+}$，C'est $y^u$ est une pseudo étiquette
3. Prenez des données de l'ensemble de données non étiqueté et ajoutez-les à l'ensemble de données étiqueté. (Remarque : vous pouvez définir les données non étiquetées que vous choisissez de retirer, ou vous pouvez attribuer des pondérations différentes à chaque donnée)

Q : Cette méthode est-elle utile pour les problèmes de régression ?
R : Ça ne marche pas. Étant donné que la régression est la valeur prédite, définissez une pseudo-étiquette $y^u$ n'affecte pas$F^{\ast }$。

L'autoformation s'apparente aux modèles génératifs d'apprentissage semi-supervisé . La différence est :

• l'auto-formation est une étiquette dure (Hard label), c'est-à-dire que la catégorie doit être 0 ou 1. (soit noir, soit blanc)
• Le modèle de génération de l'apprentissage semi-supervisé est soft label (Soft label), c'est-à-dire que la catégorie peut être un nombre décimal compris entre 0 et 1, tel que : 0,3, 0,7, etc.
  
  

Régularisation basée sur l'entropie :
$$X^{tu}\to {je}^{\ast }\to y^{tu}$$
用$y^{}$uÉquation${}^{E\; (\; yu}$$E\left({et}^{tu}\right)=-\underset{m}{}{y}_m^{}\ln (y_m^{})$ peut évaluer la distribution$y^{Le\; degré\; de\; concentration\; de\; u}$ . Nous voulons$E\left({et}^u\right)$Plus c'est petit, mieux c'est.

Par exemple, nous avons : $$L=\underset{X^r}{}C\left(y^r,y^r\right)+je\underset{X^{tu}}{}E\left(y^u\right)$$
La partie bleuecorrespond aux données étiquetées etla partie orangeaux données non étiquetées.

Il existe également une méthode bien connue de séparation à faible densité, qui est le modèle de machine à vecteurs de support semi-supervisé (SVM semi-supervisé).Le professeur Li Hongyi a donné une brève conférence ici.

Le sujet suivant dans l'apprentissage semi-supervisé est l'hypothèse de lissage (Smoothness Assumption)

L'esprit de l'hypothèse de douceur est "celui qui est proche du vermillon est rouge, et celui qui est proche de l'encre est noir", c'est-à-dire qu'il est supposé que des x similaires ont la même étiquette y ^ \hat{y $y$. Une définition plus précise est :

1. $La\; distribution\; de\; x$ n'est pas uniforme
2. si $X^1$ et$X^2$ est très proche dans une zone à haute densité, alors$y^1$和$y^2$ sont les mêmes.

Un exemple est le suivant :
$X^1$ et$X^2$ sont reliés par un chemin à haute densité, ils ont donc la même étiquette ;
$X^2$ et$X^3$ ne peuvent pas être connectés par un chemin à haute densité, ils ont donc des étiquettes différentes.

Q : Comment faire en sorte que la machine effectue un apprentissage semi-supervisé basé sur l'hypothèse de fluidité ?
R : Il existe deux méthodes :

1. Regroupement, étiquetage Note
   
   : En traitement d'images, si vous utilisez directement le regroupement d'images, l'effet n'est souvent pas bon. Une pratique courante consiste à utiliser un auto-encodeur profond pour extraire les caractéristiques de l'image avant le regroupement.

2. Méthode basée sur
   un graphique Construire un graphique : traiter tous les points de données comme un point sur le graphique. Sur le graphique, si deux points sont connectés, ils sont d'un seul type.
   Par exemple : hyperliens vers des pages Web, citations vers des articles.

Q : Dans une méthode basée sur les graphes, comment construire un graphe ?
A : 1. Définir $X^{je}$ et$X^{}$La similarité mesure s entre${}^j$$s(x^{je},X^j)$

2. Ajoutez des arêtes de deux manières :

• K voisin le plus proche (K voisin le plus proche), comme indiqué dans la figure de gauche ci-dessous, chaque point est désigné pour être connecté à ses K points les plus similaires
• e-Voisinage, comme indiqué à droite, chaque point est désigné pour être connecté à un point dont la similarité est supérieure à e
  

3. Attribuez des poids aux arêtes et $s(x^{je},X^j)$proportionnel à

$s(x^{je},X^j)$peut être défini par la fonction de base radiale gaussienne (GRBF) :
$$s\left(x^{je},X^j\right)=\exp \left(-c\_{\Vert X^{je}-X^j\Vert }^2\right)$$

Q : Comment utiliser une méthode basée sur des graphes pour laisser la machine effectuer un apprentissage semi-supervisé ?
UN:

• Qualitativement :
  dans les méthodes basées sur les graphes, les données étiquetées influencent leurs voisines et les étiquettes se propagent à travers le graphe.
  Par exemple : Au départ, il n'y a qu'un point bleu et un point rouge Après propagation, une branche connexe est colorée en bleu, et une branche connexe est colorée en rouge.
  
• Quantitativement parlant :
  Définissez le lissage des étiquettes sur le graphique :
  $$S=\frac{}{2}\underset{je,j}{}{w}_{je,}{\left(y^{je}-y^j\right)}^2=y^{T}Ly$$
  $S$ agit sur toutes les données (avec ou sans étiquettes), et plus il est petit, plus il est lisse.
  $y=[\dots y^{je}\dots y^j\dots {]}^T$是$(R+U)$ -vecteur dimensionnel
  $L=D-W$ est le Laplacien du graphe (Graph Laplacian), qui est$(R+U)\times (R+U)$ matrice
  
  $W$ est la matrice de poids,$D$ est la matrice des degrés. WWpour l'image ci-dessus (ignorer les balises)$W$ et$D$ est la suivante :
  
  La fonction de perte finale est la suivante :
  $$L_{}=\underset{X^r}{}C\left(y^r,y^r\right)+\lambda S$$
  équivaut à ajouter un terme de régularisation$\lambda S$
  Remarque : L'opération de lissage n'a pas à agir sur la sortie du réseau de neurones, mais peut agir sur n'importe quelle couche du réseau de neurones.

Enfin, M. Li Hongyi a présenté la meilleure représentation, qui sera abordée dans Apprentissage non supervisé (P23).

L'esprit central de Better Representation est le suivant : éliminer l'ivraie et conserver l'essence, simplifier le complexe. C'est-à-dire une meilleure représentation par l'observation (facteur latent)

7. RNN

L'ordre de ces chapitres de RNN est un peu déroutant, et il est organisé ici dans l'ordre de l'apprentissage personnel.

Réseau neuronal récurrent (Partie I)（P20）

Tout d'abord, introduisez un problème d'application courant dans les tâches de traitement du langage naturel : le remplissage des emplacements

Remplissage de créneau :

l'utilisateur prononce une phrase, extrait les points clés et le remplit dans le créneau correspondant. Par exemple, remplissez "Taipei" pour "destination" et "2 novembre" pour "heure d'arrivée".

Bien sûr, ce problème peut être résolu avec un réseau de neurones à propagation directe.

Tout d'abord, un mot doit être représenté par un vecteur, qui peut être appelé vectorisation de mot, codage de mot ou incorporation de mot. L'encodage one-hot le plus simple (encodage one-hot, également appelé codage 1 sur N) est utilisé ici : il s'agit d'une longueur $Un\; vecteur\; de\; N$ , seulement$1$ nombre vaut 1, les autres$N-1$ chiffre est tout 0. L'encodage à chaud rend chaque mot indépendant des autres mots dans leurs dimensions respectives.

Habituellement, ce $N$ est la taille du vocabulaire. Pour les mots qui apparaissent en dehors du vocabulaire, une dimension "autre" supplémentaire peut être introduite.

Remarque : Voir P22 pour d'autres méthodes d'incorporation de mots.

Utilisez le réseau de neurones à propagation directe pour résoudre le problème de remplissage d'emplacement
Entrée : un mot (plus précisément, son vecteur)
Sortie : la distribution de probabilité que ce mot appartient à un certain emplacement
Par exemple : entrée "Taipei", sortie à laquelle il appartient $y_{}$= probabilité de dest, appartenant à $y_{}$= probabilité d'heure de départ

M. Li Hongyi a présenté RNN à partir de l'insuffisance du réseau neuronal à propagation directe et a expliqué son processus de fonctionnement avec des exemples

Problèmes avec le réseau neuronal à propagation directe :

Si l'entrée n'est pas "arriver à Taipei le 2 novembre" mais "quitter Taipei le 2 novembre", alors "Taipei" est la destination dans la première phrase et le lieu de départ dans la deuxième phrase.

Par conséquent, le réseau neuronal à propagation directe doit avoir une fonction de stockage pour se souvenir si le mot qui apparaît avant "Taipei" est "arriver" ou "partir", et RNN est né de cela. Ajouter des unités de stockage au réseau neuronal à propagation directe ( a 1 a_1

dans la figure${un}_{}$、${un}_{}$), après l'exécution de chaque étape, la sortie de la couche cachée sera stockée dans ${un}_{}$、${un}_{}$milieu. Lors de la saisie du mot suivant, il commencera par ${un}_{}$、${un}_{}$Lire les données dans comme l'une des entrées.

Le même réseau comme celui-ci sera utilisé à plusieurs reprises, et le graphique de cycle sera étendu selon la séquence temporelle comme indiqué dans la figure ci-dessous :

tandis que la valeur dans l'unité de stockage sera mise à jour en continu, à partir de ${un}^1$ changer${un}^2$ , à partir${un}^2$ changer${un}^3$ ... la sortie du RNN n'est pas la même que la sortie du réseau neuronal à propagation directe en raison de l'existence de l'unité de mémoire.

Remarque : Pour plus de détails, veuillez consulter [Pytorch Official Tutorial] Construire RNN1 à partir de zéro - la tâche de classification du RNN au niveau lettre

En ce qui concerne la structure de boucle ici, il existe deux modes de boucle :

1. Réseau Elman : l'unité de stockage stocke l'état de la dernière couche cachée au pas de temps précédent
2. Jordan Network : l'unité de stockage stocke l'état de la couche de sortie au pas de temps précédent
   
   

La différence est illustrée dans la figure ci-dessous :

Il peut y avoir certaines variantes de RNN, telles que : RNN plus profond, RNN bidirectionnel, LSTM, GRU, etc.

RNN plus profond : le RNN à chaque pas de temps peut être très profond, avec plusieurs unités de stockage.

RNN bidirectionnel : après que deux RNN ont traité la phrase en avant et en arrière, la sortie correspondant au même mot est directement épissée pour obtenir la sortie du RNN bidirectionnel.

Parce que LSTM est très important, M. Li Hongyi se concentrera ensuite sur LSTM.

LSTM est une variante de RNN. Lorsqu'il s'agit de RNN, il fait généralement référence à LSTM.

Le cadre général de LSTM est le suivant :

• Porte d'entrée : L'entrée doit être écrite dans la cellule mémoire, mais elle doit d'abord passer par une porte d'entrée (porte d'entrée). La porte d'entrée a un signal de commande (ce signal de commande provient d'autres parties du réseau) pour contrôler la porte.Ce n'est que lorsque la porte est ouverte que la valeur d'entrée peut être écrite dans l'unité de stockage de mémoire.
• Porte de sortie : la valeur dans la cellule mémoire doit être sortie, mais uniquement lorsque la porte de sortie (porte de sortie) est ouverte, la valeur dans la cellule mémoire peut être sortie.
• Forget Gate : La valeur dans la cellule mémoire peut être formatée, et lorsque la porte Forget est ouverte, la valeur dans la cellule mémoire peut être effacée.
  
  

Q : Quand ces portes sont-elles ouvertes et quand sont-elles fermées ?
R : Le modèle apprend par lui-même.

LSTM introduit un élément de stockage de mémoire (c), avec 3 portes (Input Gate, Forget Gate, Output Gate), 4 entrées (zf $z_{}$、$z_{}$、$z_{}$、$z$ ), 1 sortie ($un$ ).

Le processus est le suivant :

• $z$ devient g ( z ) g(z)après transformation$g\left(z\right)$
• $z_{}$Après avoir traversé la porte d'entrée (Input Gate), il devient $f\left(z_{}\right)$
• $g\left(z\right)$与$f\left(z_{}\right)$ multiplié par$g\left(z\right)f\left(z_{}\right)$
• $z_{}$Après avoir traversé la porte oubliée, elle devient $f\left(z_{}\right)$ , et la valeur d'origineccMultipliez$c$$cf\left(z_{}\right)$
• $cf\left(z_{}\right)$和$g\left(z\right)f\left(z_{}\right)$ après l'action, la valeur ccdans la cellule mémoire$c$ est mis à jour en$c^{\prime }$ , obtenir h ( c ′ ) h(c')après transformation$h\left(c^{\prime }\right)$
• $z_{}$Après avoir traversé la porte de sortie (Output Gate), il devient $f\left(z_{}\right)$
• $f\left(z_{}\right)$ et$h\left(c^{\prime }\right)$pour obtenir la sortie$un=h\left(c^{\prime }\right)f\left(z_{}\right)$

Explication : Généralement $\sigma (\cdot )$ Courbe en forme de S, c'est-à-dire la fonction sigmoïde, la sortie est comprise entre 0 et 1, indiquant le degré d'ouverture de la porte.

Afin de faciliter la compréhension, le professeur Li Hongyi a cité un autre exemple. Ensuite, il a expliqué $X^t$与$z_{}$、$z_{}$、$z_{}$、zzLa relation entre$z\; .$

Pour la même entrée $X_{}$, multiplié par différents poids $O_{}$、$O_{}$、$W$、$O_{}$devient quatre valeurs différentes :

• $z^F=O_{}{X}^t$ , est l'entrée de la porte oubliée (Forget Gate), après avoir traversé la porte oubliée, elle devient$f\left(z^f\right)=s\left(z^f\right)=s\left(W_{}{X}^t\right)$
• $z^{je}=O_{}{X}^t$ , est l'entrée de la porte d'entrée (Input Gate), après avoir traversé la porte d'entrée, elle devient$f\left(z^{je}\right)=s\left(z^{je}\right)=s\left(W_{}{X}^t\right)$
• $z=L{x}^t$ est l'entrée réelle (différente de l'entrée de la porte d'entrée), qui devient$g\left(z\right)$
• $z^o=O_{}{X}^t$ , est l'entrée de la porte de sortie (Output Gate), après avoir traversé la porte de sortie, elle devient$f\left(z^o\right)=s\left(z^o\right)=s\left(W_{}{X}^t\right)$
  

La correspondance des autres parties est illustrée dans la figure ci-dessous :

La partie entourée par la case rouge est la mise à jour de l'entrée et de la porte d'entrée, qui est chargée de juger s'il faut accepter une nouvelle entrée :

• $z^{je}$ pèse$O_{}$, plus le vecteur biais $b_{}$, après la porte d'entrée, il devient ${je}_{}=s(W_{}{z}^{je}+b_{})$
• $z$ fois le poids$O_{}$, plus le vecteur biais $b_{}$, après $\mathrm{louche}(\_)$ , devient${\tilde{c}}_{}=s(W_{}z+b_{})$ . ccici$c$ est l'abréviation de la cellule ci-dessus, qui est une unité de stockage
• 把${je}_{}$et ${\tilde{c}}_{}$Multiplication élément par élément (produit de Hadamard, opérateur $\odot$ ou$\ast$ ), obtenez-${je}_{}\ast {\tilde{c}}_{}$, puis entrez dans la cellule

La partie entourée en bleu est la mise à jour de la porte d'oubli. Elle est chargée de juger s'il faut mettre à jour la valeur dans la cellule. Si elle est mise à jour, elle doit oublier la valeur précédente et écrire la nouvelle valeur :

• Le vecteur de stockage ct − 1 c_{t-1} de l'étape précédente est stocké dans la cellule$c_{t-}$
• $z^f$ fois le poids$O_{}$, plus le vecteur biais $b_{}$, après la porte oubliée, il devient $F_{}=s(W_{}{z}^F+b_{})$
• Dans la cellule, mettre $c_{t-}$et $F_{}$Multipliez également par élément, puis avec le it ∗ c ~ t i_t*\tilde{c}_t que nous venons de mentionner${je}_{}\ast {\tilde{c}}_{}$L'addition devient un nouveau vecteur de stockage $c_{}=c_{t-}\ast F_{}+{je}_{}\ast {\tilde{c}}_{}$

La partie entourée en orange est la mise à jour de la porte de sortie, qui est chargée de juger s'il faut sortir la valeur finale :

• nouveau $c_{}$Passez d'abord un $\mathrm{louche}(\_)$ fonction, devient$\mathrm{louche}\left(c_{}\right)$
• $z^o$ W$O_{}$, plus le vecteur biais $b_{}$, après la porte de sortie, devient $o_{}=s(W_{}{z}^o+b_{})$
• mettre $\mathrm{louche}\left(c_{}\right)$ et$o_{}$Multipliez élément par élément pour obtenir le nouvel état de calque caché $h_{}=o_{}\ast \mathrm{louche}\left(c_{}\right)$
• État de la couche masquée $h_{}$Grâce à une fonction softmax, obtenez la sortie finale $y_{}=softmax(h\_\_\_{}_{})$

Un peu plus compliqué, LSTM introduit le résultat $c^t$ et état de la couche cachée$h^t$ , formant un « judas ». Autrement dit, l'entrée d'origine est uniquement$X^t$ , devient maintenant$[c^{t-1},h^{t-1},X^t]$, alors :

• $z^F=O_{}[c^{t-1},h^{t-1},X^t]$est l'entrée de la porte oubliée
• $z^{je}=O_{}[c^{t-1},h^{t-1},X^t]$est l'entrée de la porte d'entrée
• $z=W[c^{t-1},h^{t-1},X^t]$, est l'entrée réelle (qui n'est pas la même que l'entrée de la porte d'entrée)
• $z^o=O_{}[c^{t-1},h^{t-1},X^t]$est l'entrée de la porte de sortie
  

Réseau neuronal récurrent (Partie II)（P21）

Puis sur le dernier P, continuez à parler du réseau de neurones cyclique, voici comment le RNN apprend.

La première est la fonction de perte.Voici juste un exemple pour dire que la fonction de perte est la somme des pertes d'entropie croisée de la valeur prédite et de la valeur réelle.

Alors comment s'entraîner, la méthode de descente de gradient est toujours utilisée, et la propagation vers l'arrière est utilisée, mais voici BPTT (Backpropogation through time):

Bien que RNN soit bon, il rencontrera quelques problèmes lors de la formation (explosion de gradient, disparition de gradient) Le professeur Li Hongyi a donné un exemple pour illustrer le problème de l'explosion de gradient.

Comme la surface d'erreur est trop raide, il est facile de s'envoler lors de la mise à jour des paramètres.

Ensuite, M. Li Hongyi a fourni des compétences de résolution.

Q : Quelle est la solution ?
UN:

1. Clipping : lorsque la mise à jour du dégradé dépasse une certaine valeur, laissez-la être égale à cette valeur. Ce problème peut être atténué dans une certaine mesure.
2. LSTM Peut résoudre la disparition du gradient, mais pas l'explosion du gradient.
   Q : Pourquoi le gradient de fuite peut-il être résolu ?
   R :
   a. La valeur mémorisée et la valeur d'entrée sont ajoutées au lieu d'être multipliées.
   b. L'influence des résultats de calculs précédents sur LSTM est toujours présente et ne disparaîtra que si la porte de l'oubli est fermée.
   Gated Recurrent Unit (GRU) est plus simple que LSTM, avec seulement deux portes. Si le surajustement de LSTM est trop grave, vous pouvez essayer GRU.
   Autres variantes : RNN dans le sens des aiguilles d'une montre, réseau récurrent structurellement contraint (SCRN)
3. Initialiser le RNN + ReLU général avec la matrice unitaire
   Lorsque la matrice unitaire n'est pas utilisée, l'effet sigmoïde est meilleur que ReLU.

Le professeur Li Hongyi a parlé davantage des scénarios d'application de RNN.

• Plusieurs à un : l'entrée est une séquence de vecteurs et la sortie n'est qu'un seul vecteur.
  Par exemple:

  • Analyse des sentiments : saisissez une phrase, l'attitude de sortie est "positive" ou "négative"
  • Extraction de termes clés : saisissez un document et affichez ses mots clés

• Plusieurs à plusieurs (Plusieurs à plusieurs):

  • L'entrée et la sortie sont des séquences vectorielles, mais la sortie est plus courte.
    Par exemple:
    • Reconnaissance vocale (reconnaissance vocale): voix d'entrée, texte de sortie
    • CTC (Classification temporelle connexionniste)
  • L'entrée et la sortie sont des séquences vectorielles sans aucune restriction.
    Par exemple:
    • Traduction automatique

En plus des séquences, d'autres applications :

• Analyse syntaxique

Auto-encodeurs séquence à séquence (texte, parole)

• Chatbot
• Génération de sous-titres vidéo
• Génération de légende d'image

Modèle basé sur l'attention

• Compréhension écrite
• Réponse visuelle aux questions
• Réponse aux questions vocales

Plus de matériel d'apprentissage :

• L'efficacité déraisonnable des réseaux de neurones récurrents：http://karpathy.github.io/2015/05/21/rnn-effectiveness/
• Comprendre les réseaux LSTM：http://colah.github.io/posts/2015-08-Understanding LSTMs/

Enfin, M. Li Hongyi a décrit la relation entre RNN et l'apprentissage structuré.

RNN et apprentissage structuré vs
RNN, LSTM :

• RNN unidirectionnel ne peut pas considérer la séquence entière
• Le coût et l'erreur ne sont pas nécessairement liés
• profondeur

HMM, CRF, Perceptron structuré/SVM：

• Avec l'algorithme de Viterbi, toute la séquence peut être considérée (le RNN bidirectionnel peut surmonter)
• le coût est une borne supérieure de l'erreur

Le RNN et l'apprentissage structuré peuvent être combinés et profiter des avantages des deux.
Par exemple:

1. Par exemple, CNN/LSTM/DNN + HMM HMM
   implique : $$P(x,y)=P(y_{}|commencer)\_\_\_\_\prod _{l=1}^{L-}P\left(y_{l+}|y_{}\right)P\left(fin\_\_|y_{}\right)\prod _{l=1}P\left(x_{}|y_{}\right)$$
   Le dernier élément peut être calculé avec RNN :
   $$P\left(x_{}|y_{}\right)=\frac{P(x_{},y_{}}{P\left({et}_{}\right)}=\frac{P({et}_{}|X_{}\left)P\right(x_{}}{P\left({et}_{}\right)}$$
   Par exemple, $P({et}_{}|X_{})$ peut être obtenu par RNN ;$P\left({et}_{}\right)$ peut être obtenue par comptage.
2. Annotation sémantique : LSTM bidirectionnel+CRF/SVM structuré
   

Enfin, M. Li Hongyi a utilisé GAN (Generative Adversarial Network) pour expliquer pourquoi l'apprentissage structuré est faisable.

La tendance future des réseaux de neurones pourrait être de devenir profonds et structurés. Ici, l'enseignant Li Hongyi a présenté un autre de ses cours - Apprentissage automatique et apprentissage profond et structuré (MLDS). Ce cours ne révise que légèrement le contenu de DNN et CNN, en se concentrant sur l'apprentissage en profondeur et l'apprentissage structuré.

Apprentissage non supervisé - Incorporation de mots（P23）

Le contenu de l'apprentissage semi-supervisé P22 a été écrit ci-dessus, je vais donc continuer à écrire P23 ici, en prenant l'incorporation de mots comme exemple pour parler d'apprentissage non supervisé.

Tout d'abord, M. Li Hongyi a présenté le codage 1 sur N et l'intégration de mots (Word Embedding)

Codage 1 sur N, également connu sous le nom de codage à chaud (codage à chaud), un vecteur représente un mot, une seule dimension est 1 et les autres dimensions sont 0.
Par exemple:

• pomme = [ 1 0 0 0 0]
• sac = [ 0 1 0 0 0]
• chat = [ 0 0 1 0 0]
• chien = [ 0 0 0 1 0]
• éléphant = [ 0 0 0 0 1]

Avantages : Simple et pratique
Inconvénients : Grande dimension, prend beaucoup de place et ne peut pas exprimer la relation entre deux mots. Par exemple, chat et chien sont tous deux des animaux, les deux mots doivent être relativement proches et la relation entre chat et sac doit être relativement éloignée, mais cette méthode de codage ne peut pas refléter cette relation.

Une méthode idéale est l'intégration de mots, qui réduit la dimensionnalité des mots et les intègre dans un espace vectoriel à haute latitude, de sorte que des mots similaires soient plus proches dans l'espace vectoriel.

Le processus de génération de vecteurs de mots n'est pas supervisé. Nous savons seulement que l'entrée est un tas de texte, mais nous ne savons pas ce que le réseau de neurones produira.

Q : Comment calculer l'incorporation de mots ?
R : L'encodeur automatique n'est pas réalisable, il peut être compris dans le contexte d'un vocabulaire.

Q : Comment utiliser le contexte ?
R : Il existe deux types de méthodes :

1. Méthode basée sur le nombre (basée sur le nombre)
   si le mot $w_{}$et $w_{}$apparaissent souvent ensemble, alors leur vecteur de mots $V\left(w_{}\right)$ somme$V\left(w_{}\right)$ doit être proche. J'espère que le produit interne de deux vecteurs de mots$V\left(w_{}\right)\cdot V\left(w_{}\right)$ avec le mot$w_{}$et $w_{}$Le nombre d'occurrences réunies dans le même document $N_{je}$pertinent.
   Une méthode couramment utilisée ici est : vecteur de gant
2. La méthode basée sur la prédiction
   est basée sur $w_{je-}$wi $w_{}$
   Mot d'entrée $w_{je-}$Le codage 1 sur N, via le réseau neuronal, produit chaque mot sous la forme $w_{}$La probabilite.
   
   Vous pouvez sortir les neurones de la première couche cachée de ce réseau de neurones $\left[z_{}{z}_{}\dots \right]$ , en l'utilisant comme le mot$Le\; vecteur\; mot\; de\; w$ représente$V\left(w\right)$
   peut être développé davantage, selon les deux mots précédents$w_{je-}$、$w_{je-}$prédire $w_{}$, les paramètres de chaque dimension sont communs (les lignes de même couleur dans la figure ci-dessous indiquent le même poids), sinon un mot aura deux vecteurs de mots .
   

Q : Comment s'entraîner aux méthodes basées sur la prédiction ?
A : Minimiser la perte d'entropie croisée de la valeur prédite et de la valeur cible. Il existe plusieurs variantes de structures de réseau, dont les plus courantes se répartissent en deux catégories :

1. Le modèle de sac de mots continu (CBOW)
   prédit les mots en fonction du contexte
   
2. Skip gram
   prédit son contexte étant donné un mot
   
   Remarque : Le réseau de neurones ici n'est pas un DNN, généralement une seule couche cachée.

Enfin, M. Li Hongyi a présenté quelques phénomènes et applications intéressants dans l'intégration de mots, tels que l'analogie, l'intégration multilingue, l'intégration multi-domaines, l'intégration de documents, etc.