Retour à l'histoire du développement du modèle profond Réseau d'apprentissage du catalogue classique
Suivant: articles de fond - l' histoire classique du développement du modèle réseau profond apprentissage (b) structure complexe et les caractéristiques AlexNet
Annuaire Table des matières
articles profondeur - l' histoire classique du développement du modèle du réseau d' apprentissage profond (a) la structure graphique et la structure Lenet-5 et les caractéristiques de l'histoire du modèle de développement
articles de profondeur - Histoire profonde du modèle classique Learning Network (b) structure complexe et les caractéristiques AlexNet
articles profondeur - Histoire classique du modèle d' apprentissage réseau profond (c) structure complexe et les caractéristiques de la ZF-Net
articles profondeur - Histoire classique de modèle Réseau d' apprentissage profond (d) la structure élaborée et des fonctions VGG16
articles profondeur - Histoire classique du modèle réseau profond d' apprentissage (cinq) élaborer la structure et les caractéristiques GoogleNet (y compris v1, v2, v3)
articles profondeur - Histoire classique du modèle Réseau d' apprentissage profond (six) structure complexe et les caractéristiques de ResNet
articles profondeur - Histoire classique du modèle Réseau d' apprentissage profond (sept) élaborer la structure Inception-ResNet et caractéristiques
articles profondeur - l' histoire classique du modèle de réseau développé apprentissage en profondeur (h) structure complexe et les caractéristiques DenseNet
articles de profondeur - histoire profonde apprentissage classique du développement du modèle de réseau (ix) la structure de Darknet élaborée et les caractéristiques de chaque modèle et avec précision
Dans cette section, sur l'histoire du développement de la structure du modèle graphique et la structure Lenet-5 et les caractéristiques, la structure suivante de la section et élaborer AlexNet fonctionnalités
Une structure graphique de la Fig.
II. Réseau classique (réseau classique)
1. Lenet-5
论文地址: apprentissage gradient appliqués dans le contexte de reconnaissance de documents
réseau de neurones Lenet-5 convolution est LeCun en 1998 proposée pour résoudre la reconnaissance numérique écrit à la main des tâches visuelles. Je ne pensais pas que l'utilisation de rembourrage ou de rembourrage pour « VALIDE ». Comme il est un des réseaux plus classiques, et maintenant, fondamentalement, ne pas la profondeur des réseaux de neurones. Parlez des biens, ne dites pas les détails. amis intéressés peuvent aller lire sur papier.
(1) Réseau Description:
En fait, on peut voir à partir de la structure ci-dessus, l'entrée est un 32x32, en fait, 28x28 sont possibles, mais la première couche doit être changée padding assez SAME. Bien sûr, en raison du petit réseau Lenet-5, relativement, le modèle est également très petit fichier modèle ckpt inférieur à 1 M, si le fichier congelé modèle de pb, modèle plus petit, pour les petites mémoire pour le côté mobile, parfois Lenet-5 il est devenu évangile.
Architecture de réseau:
Le processus de formation est la suivante:
Comme on peut le voir sur le graphique, l'effet de la formation à l'époque, est encore tout à fait possible. perte de test d'environ 1%. Et avant: articles de fond - CNN réseau de neurones convolutionnel (iv) en utilisant tf cnn être code numérique mnist manuscrite projet de démonstration à peu près la formation, selon à la hausse à 98% +, puis régler sur les paramètres, ou au début d'arrêt et bien -tuning regard, selon rose à 99% ne devrait pas être un problème.
(2). lenet-5 Caractéristiques:
. Convolution ① Chaque couche est constituée de trois parties: une convolution, mise en commun et la fonction d'activation non linéaire
②. Extraction de caractéristiques spatiales en utilisant convolution
③. Le sous-échantillonnage (sous-échantillon) couche cellulaire moyenne (moyenne de mise en commun)
④. Tangente hyperbolique (Tanh) ou de type S (sigmoïde) de fonction d'activation, comme le classificateur Softmax finale
⑤. Sparse connexion entre les couches afin de réduire la complexité de calcul.
Retour à l'histoire du développement du modèle profond Réseau d'apprentissage du catalogue classique
Suivant: articles de fond - l' histoire classique du développement du modèle réseau profond apprentissage (b) structure complexe et les caractéristiques AlexNet
