table des matières
Ce qui suit est l'algorithme dérivé de lui
Calcul d'une couche de convolution
Construction d'un réseau neuronal
Pourquoi utiliser une fonction d'activation de réseau neuronal?
Normalisation de la réponse locale
Normalisation de la réponse locale LNN
Avant-propos:
Cet article est un article de 12 ans mais a une citation allant jusqu'à 6 W. Il est la pierre angulaire du travail de vision par ordinateur.
Il faut donc lire
Ce qui suit est l'algorithme dérivé de lui
Calcul de couche convolutive
Page de ressenti
Couche de regroupement
(Mise en commun, sous-échantillonnage)
Peut empêcher le surajustement
Construction d'un réseau neuronal
Pourquoi les réseaux de neurones utilisent-ils des fonctions d'activation?
Parce que la fonction d'activation est non linéaire , c'est précisément parce que la fonction d'activation non linéaire introduit la non-linéarité dans le modèle de réseau neuronal et peut résoudre le problème de classification non linéaire.
Cependant, les fonctions saturées traditionnelles telles que Sigmoid et tanh, et les fonctions d'activation insaturées peuvent résoudre le problème de la disparition du gradient .
La figure suivante complète la sortie du réseau de neurones via deux neurones
normalisation softmax
Il y a un endroit intéressant dans cet article
Normalisation de la réponse locale
Chaque valeur est normalisée, ce qui peut inhiber efficacement les neurones locaux
Donnez un exemple précis
Normalisation de la réponse locale LNN
Peut obtenir l'effet:
Interdire l'activation à proximité
Cependant, la couche LRN a été renversée et il n'y a aucune utilité pour X
L'expansion des données peut prévenir et réduire efficacement les méthodes de sur-ajustement
Abandonner
Étouffé au hasard, chaque couche d'abandon a 0,5 remplacé par 1
Si ce n'est pas nécessaire, n'augmentez pas l'entité --- le principe du rasoir
références:
- station b
- Papier AlexNet