Processus de formation de base en apprentissage profond

Processus de formation de base en apprentissage profond

avant-propos

Cet article n'est qu'un enregistrement de mes notes d'étude, certaines des images de l'article proviennent d'Internet, s'il y a une infraction, veuillez me contacter pour supprimer

1. Bases de l'apprentissage en profondeur

1.1 Apprentissage en profondeur

L'apprentissage en profondeur est une branche de l'apprentissage automatique, le but est de trouver un bon ensemble de paramètres θ, de sorte que le modèle mathématique représenté par θ puisse bien apprendre la relation de cartographie à partir de l'ensemble d'apprentissage : fθ : x→y, x, y∈ D(train ), afin d'utiliser les fθ(x), x∈D(test) entraînés pour prédire de nouveaux échantillons. Le réseau de neurones appartient à une branche de recherche de l'apprentissage automatique, qui fait spécifiquement référence au modèle qui utilise plusieurs neurones pour paramétrer la fonction de cartographie fθ

• Classification

  • apprentissage non supervisé

  • enseignement supervisé

    • Classification

    • retour

1.2 Le réseau de neurones comprend principalement deux processus

• Propagation vers l'avant, calculez la perte

  • La propagation vers l'avant du réseau de neurones se fait de la couche d'entrée vers la couche de sortie : la propagation vers l'avant commence à partir de la couche d'entrée (Layer1), passe par des couches de Layers, et calcule en continu les résultats obtenus par le réseau de neurones de chaque couche et passe la fonction d'activation (généralement utilisée Le résultat de sortie de cette couche de la fonction Relu), et enfin obtenir le processus de sortie et les données de flux
  • Généralement, il s'agit de construire un réseau, en empilant différentes couches de couches de réseau (telles que : couche entièrement connectée) ensemble, et en construisant une relation de mappage de fonction de la couche d'entrée à la couche de sortie.

• Rétropropagation, paramètres de mise à jour

  • La propagation vers l'avant calcule la valeur prédite y¯, et la perte L(y¯,y) peut être calculée en fonction de la différence entre y¯ et la valeur réelle y. La rétropropagation consiste à inverser la direction selon la fonction de perte L(y ¯, y). Calculez les dérivées partielles (gradients) de a, z, w et b dans chaque couche, et modifiez le poids de chaque couche à partir de la dernière couche couche par couche, c'est-à-dire mettez à jour les paramètres. Le noyau est la perte L pour chaque couche La règle de dérivation en chaîne pour trouver le gradient pour chaque paramètre de . Ce qui coule est le gradient
  • Algorithme de rétropropagation (BP), mise à jour des paramètres réseau, optimisation du modèle, SGD

$$je=je-le\frac{ré\left(J\right(\theta )}{ré\left(je\right)}$$

• organigramme

1.3 Classification de la couche réseau

• couche entièrement connectée

  • FC

• couche d'activation

  • CV

• couche convolutive

  • cnn

• Couche BN

1.4 Couche entièrement connectée

• Un nœud de sortie est connecté à chaque nœud d'entrée

• 

• question

  • Trop de paramètres, ce qui ralentit le calcul
  • Pour les informations d'image, il est facile de perdre des informations spatiales

1.5 Réseaux de neurones convolutionnels

• couche convolutive

  • corrélation locale

      	- 只与周围的像素有关
    

  • Partage du poids

      	- 一个卷积核提取一种特征
    

• Calcul de convolution

  • Hyperparamètres associés

    • foulée
    • rembourrage
    • Taille du noyau de convolution

  • Calcul de la taille de sortie

    • hnouveau = (h+2*ph-k)/s+1
    • w新=（w+2*pw-k）/ s + 1

• couche de regroupement

• Sous-échantillonnage d'une image, réduction des paramètres de l'image, invariance de la traduction

1.6 Sens de traitement des images

• Reconnaissance d'images
• Détection de cible
• segmentation sémantique
• segmentation des instances

1.7 Qu'est-ce qu'un cadre d'apprentissage en profondeur

• tensorlflow

  • Langage de programmation général Python, facile à développer, nombreux modules

  • formation sur le cadre tensorflow

    • Bibliothèque de calcul scientifique, un package de python

    • Pourquoi utiliser un cadre

      • Rétropropagation complète, dérivation automatique

      • Fournir une interface API de base

        • Couche convolutive, couche entièrement connectée, couche de regroupement, etc.
        • optimiseur

  • environnement

    • CPU

    • processeur graphique

      • Calcul parallèle, opérations matricielles

2 formations

2.1 Données d'entrée (vous devez les traiter vous-même)

• normalisation des données

  • Les données prétraitées sont limitées à une certaine plage, éliminant ainsi les effets indésirables causés par des données d'échantillon singulières.

• code de catégorie

  • one-hot

2.2 Propagation vers l'avant de la couche réseau (en utilisant l'API pour construire un réseau)

• Les données circulent entre les couches, calculant la sortie de chaque couche

2.3 Calculer la perte (fourni par l'API, sélectionner le type)

• MAE
• MAE
• perte d'entropie croisée

2.4 Mise à jour du gradient inverse de la couche réseau (cadre terminé)

• algorithme pb
• Le dégradé circule entre les calques, le dégradé du dernier calque est calculé en premier, puis le dégradé est renvoyé

2.5 Paramètres de mise à jour (fournis par l'API, vous devez sélectionner un optimiseur)

• Paramètres du modèle

  • Les paramètres appris par le réseau, c'est-à-dire les paramètres à optimiser

• hyperparamètres

  • Paramètres (taux d'apprentissage) définis à l'avance, paramètres non apprenables

• Méthodes d'optimisation courantes

  • CAD
  • Adam

3 prédictions

• Des données d'entrée

• Propagation directe de la couche réseau

• résultat de sortie