Une méthode de solution PDE basée sur des informations physiques machine d'apprentissage extrême

**Auteur|**PINN Shanliwa, page d'accueil de l'auteur
**Direction de la recherche|**Incertitude d'apprentissage profond basée sur l'information physique Intelligence artificielle Équations aux dérivées partielles Machine d'apprentissage extrême

L'auteur se concentre sur la recherche de pointe sur la combinaison de modèles d'apprentissage en profondeur et d'informations physiques, et fournit une série d'IA pour les rapports d'avancement de la recherche scientifique et les implémentations de code, visant à réaliser des méthodes d'apprentissage en profondeur basées sur l'information physique, de l'entrée à la maîtrise.
Embedded Physical Knowledge Neural Network (PINN) Introduction et documents connexes
Apprentissage en profondeur pour résoudre des équations différentielles Série 1 : Cadre de solution PINN (Poisson 1d)
Apprentissage en profondeur pour résoudre des équations différentielles Série 2 : PINN pour résoudre des problèmes de l'équation de Burger
Apprentissage en profondeur pour résoudre des équations différentielles Série 3 : PINN résout le problème inverse de l'équation de Burger
Apprentissage profond pour résoudre l'équation différentielle série 4 : Basé sur la fonction d'activation adaptative PINN résout le problème inverse de l'équation de Burger
Apprentissage profond pour résoudre l'équation différentielle série 5 : PINN résout le problème direct et inverse de l'équation de Navier-Stokes
Une machine d'apprentissage extrême basée sur des informations physiques La méthode de résolution PDE de

Ces dernières années, l'application de méthodes d'apprentissage profond pilotées par des informations physiques aux problèmes de calcul scientifique a reçu de plus en plus d'attention. Parmi eux, le réseau de neurones informé physique (PINN) a montré de grands avantages dans la résolution des problèmes directs et inverses des équations différentielles ( PDE). Mais il n'est pas adapté à certaines applications qui nécessitent une réponse en temps réel. Par conséquent, ce qui suit présentera une méthode de solution PDE basée sur une machine d'apprentissage extrême d'informations physiques, qui est utilisée pour une solution rapide d'équations différentielles linéaires, et peut obtenir une solution de haute précision en temps quasi réel (solution de second niveau). Il présente d'abord les méthodes de base de PINN et des machines d'apprentissage extrêmes, puis présente la méthode d'apprentissage extrême basée sur des informations physiques, puis présente les problèmes de solution et le contexte, et enfin montre les résultats de calcul basés sur Pytorch.
Avantages : La méthode de solution PDE basée sur des informations physiques extrême machine d'apprentissage peut résoudre des équations différentielles linéaires en quelques millisecondes, et cette méthode est une méthode sans maillage qui peut être utilisée pour des systèmes de formes complexes.

1. Contexte du problème

Les équations différentielles linéaires sont également l'un des canaux importants pour relier la théorie à la pratique et jouent un rôle important dans de nombreux domaines tels que la physique, l'ingénierie, la mécanique, l'astronomie, la biologie, la médecine et l'économie. ** Par exemple, les problèmes de calcul des ordinateurs électroniques et des appareils radio peuvent être classés comme la résolution d'équations différentielles ; les calculs balistiques et la recherche sur la stabilité de vol des aéronefs peuvent être classés comme la résolution d'équations différentielles linéaires. Pour une EDP linéaire, cela peut être décrit comme

$$\begin{array}{rl}& Lu=F_{}(x,y),(x,y)\in Oh\\ & B\left[u\right(x,y\left)\right]=b(x,y),(x,y)\in \partial \Omega \end{array}$$
Où : $L$ est un opérateur différentiel linéaire,$B$ est la condition limite ou valeur initiale,$F_{}(x,y)$ est l'élément source du système,$\lambda$ est un paramètre physique,$u$ est la solution du système physique.

2. Introduction au PINN et à l'apprentissage automatique extrême

En tant qu'outil puissant de traitement de l'information, le réseau de neurones a été largement utilisé dans les domaines de la vision par ordinateur, de la biomédecine et de l'ingénierie pétrolière et gazière, déclenchant des changements technologiques dans de nombreux domaines. Le réseau d'apprentissage en profondeur a une capacité d'apprentissage très forte, non seulement en découvrant des lois physiques, mais aussi en résolvant des équations aux dérivées partielles. Ces dernières années, la résolution d'équations aux dérivées partielles basée sur l'apprentissage en profondeur est devenue un nouveau point chaud de la recherche. PINN est une méthode d'application des machines scientifiques dans le domaine numérique traditionnel, qui peut être utilisée pour résoudre divers problèmes liés à l'EDP, notamment la résolution d'équations, l'inversion de paramètres, la découverte de modèles, le contrôle et l'optimisation, etc. Avec le développement des réseaux de neurones, la machine d'apprentissage extrême (ELM) a obtenu un grand succès dans les problèmes de classification et de régression d'images en raison de ses bonnes performances de généralisation et de sa capacité d'apprentissage extrêmement rapide.

2.1Méthode PINN pour résoudre le problème inverse

L'idée principale de PINN est illustrée à la figure 1, construisez d'abord un résultat de sortie sous la forme $\stackrel{Le\; réseau\; neuronal\; de\; ^}{tu}$ , qui est utilisé comme modèle proxy pour la solution PDE, et les informations PDE sont utilisées comme contrainte, codées dans la fonction de perte de réseau neuronal pour la formation. La fonction de perte comprend principalement quatre parties : la perte de structure différentielle partielle (perte PDE), la perte de condition de valeur limite (perte BC), la perte de condition de valeur initiale (perte IC) et la perte de condition de données réelles (perte de données).

Figure 1 : Diagramme schématique du PINN

En particulier, considérons le problème PDE suivant, où la solution du PDE $u\left(x\right)$在$Oh\subset R^d$ définition, où$X=\left(x_{},\dots ,X_{}\right)$：
$$F\left(x;\frac{\partial }{\partial x{\_}_{}},\dots ,\frac{\partial }{\partial x{\_}_{}};\frac{{\partial }^2}{\partial x{\_}_{}\partial x{\_}_{}},\dots ,\frac{{\partial }^2}{\partial x{\_}_{}\partial x{\_}_{}}\right)=0,X\in \Omega En$$
même temps, satisfaire la frontière suivante
$$B(tu,x)=0\text{ sur }\partial \Omega \_$$

Le processus de solution PINN comprend principalement :

• La première étape consiste à définir le modèle de réseau neuronal de la couche entièrement connectée de la couche D :
  $$N_{}:=L_{}\circ p\circ L_{J-}\circ p\circ \cdots \circ p\circ L_{}$$
  式中：
  $$\begin{array}{rl}{L}_{}\left(x\right)& :=O_{}X+b_{},O_{}\in R^{d_{}\times d},b_{}\in R^{d_{}}\\ L_{}\left(x\right)& :=O_{}X+b_{},O_{}\in R^{d_{}\times d_{je-}},b_{}\in R^{d_{}},\forall je=2,3,\cdots D-1,\\ L_{}(x& :=O_{}X+b_{},O_{}\in R^{N\times d_{J-}},b_{}\in R^{N.}\end{array}$$
  et $\sigma$ est la fonction d'activation,$W$ et$b$ est les paramètres de pondération et de biais.
• La deuxième étape, afin de mesurer le réseau de neurones $\stackrel{L\; (\; \theta }{tu}$ ) = wf LPDE ( θ ; T f ) + wi LIC ( θ ; T i ) + wb LBC ( θ , ; T b ) + wd LD ata(
  $$L\left(je\right)=w_{}{L}_{PD}\left(je;J_{}\right)+w_{}{L}_{Je}\left(je;J_{}\right)+w_{}{L}_B\left(je,;J_{}\right)+w_{}{L}_{Dat}\left(je,;J_{dunt}\right)$$
  où :
  $$\begin{array}{rl}{L}_{PD}\left(je;J_{}\right)& =\frac{}{|T{\_}_{}|}\underset{x\in T_{}}{}{\Vert F\left(x;\frac{\partial tu}{\partial x{\_}_{}},\dots ,\frac{\partial tu}{\partial x{\_}_{}};\frac{{\partial }^{2}tu}{\partial x{\_}_{}\partial x{\_}_{}},\dots ,\frac{{\partial }^{2}tu}{\partial x{\_}_{}\partial x{\_}_{}}\right)\Vert }_2^{}\\ L_{Je}\left(je;J_{}\right)& =\frac{}{|T{\_}_{}|}\underset{x\in T_{}}{}\Vert \widehat{tu}\left(x\right)-u\left(X\right){\Vert }_2^{}\\ L_B\left(je;J_{}\right)& =\frac{}{|T{\_}_{}|}\underset{x\in T_{}}{}\Vert B(\widehat{tu},x){\Vert }_2^{}\\ L_{Dat}(je;J_{dunt}& =\frac{}{|T{\_}_{dunt}|}\underset{x\in T_{dunt}}{}\Vert \widehat{tu}\left(x\right)-u\left(X\right){\Vert }_2^{}\end{array}$$
  $w_{}$，$w_{}$、$w_{}$et $w_{}$est le poids. $J_{}$，$J_{}$、$J_{}$和$J_{dunt}$Représente les points résiduels de la PDE, la valeur initiale, la valeur limite et la valeur vraie. Ici $J_{}\subset \Omega$ est un ensemble prédéfini de points pour mesurer la sortie du réseau neuronal$\widehat{tu}$ Étendue de la correspondance avec PDE.
• Enfin, utilisez l'algorithme d'optimisation du gradient pour minimiser la fonction de perte jusqu'à ce que les paramètres de réseau qui répondent à la précision de la prédiction soient trouvés. KaTeX parse error: Undefined control sequence: \theat at position 1: \̲t̲h̲e̲a̲t̲^{*} .

Il convient de noter que pour les problèmes inverses, c'est-à-dire que certains paramètres de l'équation sont inconnus. Si seules l'équation PDE et les conditions aux limites sont connues et que les paramètres PDE sont inconnus, le problème inverse est un problème indéterminé, donc d'autres informations doivent être connues, comme certains points d'observation $la\; valeur\; de\; u$ . Dans ce cas, la méthode PINN peut utiliser les paramètres de l'équation comme variables inconnues et les ajouter à l'entraîneur pour optimisation.La fonction de perte inclut la perte de données.

2.2 Méthode ELM pour résoudre

Considérez l'ELM illustré à la figure 2, qui consiste en un réseau de neurones à action directe à une seule couche avec n neurones, en supposant que l'entrée est $X=(x_{},\cdots ,X_{}{)}^T$ , la sortie est un neurone$y$ , l'idée principale d'ELM est que les poids et les biais de la couche d'entrée sont des valeurs aléatoires prédéfinies et sont fixes tout au long du processus de formation, et les poids de la couche de sortie sont obtenus par la formation et l'apprentissage.

Figure 2 : Diagramme schématique d'une machine d'apprentissage extrême

Méthode de solution ELM
Tout d'abord, déterminez la structure du réseau de neurones à anticipation, initialisez les poids et les biais d'entrée (fixés après l'initialisation) et les poids de la couche de sortie (à résoudre). Le mappage entrée-sortie peut être exprimé comme suit :
$$G\left(x\right)n=y$$
式中：$g={\left[g\left({\vec{X}}_{}\right),g\left({\vec{X}}_{}\right),\dots ,g\left({\vec{X}}_{}\right)\right]}^T$，$g\left(x_{}\right)=\left[f\left({un}_{j1}^{}{X}_{}+b_{}\right),Phi\left({un}_{je2}^{}{X}_{}+b_{}\right),\dots ,Phi\left({un}_{jn\_}^{}{X}_{}+b_{}\right)\right]$
puis obtenez le poids de la couche de sortie
$$n=pjenv\left(G\right)x$$

3. Méthode d'apprentissage automatique extrême basée sur des informations physiques

En tant que version rapide de PINN, la méthode d'apprentissage automatique extrême basée sur des informations physiques a fait l'objet d'une attention particulière dans la résolution d'équations aux dérivées partielles. Sa principale caractéristique est de fixer les poids de la couche d'entrée avec des valeurs aléatoires et d'utiliser la solution inverse généralisée de Moore-Penrose pour les poids de la couche de sortie.
marcher:

• Tout d'abord, déterminez la structure du réseau neuronal, réseau neuronal monocouche ( $n$ neurones), initialiser de manière aléatoire les poids et les biais de la couche d'entrée et les fixer, et initialiser de manière aléatoire les poids de la couche de sortie. Supposons que
  $$h=[x,y,1{]}^T,un={\left[{un}_{},{un}_{},\cdots ,{un}_{}\right]}^J,b={\left[b_{},b_{},\cdots ,b_{}\right]}^J,c={\left[c_{},c_{},\cdots ,c_{}\right]}^T$$
  où :$un,\beta$和$\gamma$ est le paramètre de la couche de sortie, qui est fixé après une initialisation aléatoire. Le réseau utilise une fonction d'activation non linéaire$Phi=\tanh$ , les paramètres de la couche de sortie sont$Oh={\left[{ah}_{},{Oh}_{},\cdots ,{Oh}_{}\right]}^T$ , le$La\; sortie\; de\; k$ neurones peut être exprimée sous la forme$Phi\left(z_{}\right)$ ,$z_{}=\left[{un}_{},b_{},c_{}\right]\chi$ , la sortie du réseau neuronal peut être exprimée comme
  $$\widehat{tu}\left(x\right)=\phi \left(z\right)\omega$$
• Deuxièmement, les informations physiques sont codées dans le réseau d'apprentissage extrême. En raison de la particularité du réseau de machine d'apprentissage extrême, l'équation PDE linéaire et les conditions aux limites peuvent être décrites comme ξ f = L φ ( z ) ω − f λ ( x
  $$\begin{array}{rl}& X_{}=L\phi \left(z\right)\omega -F_{}(x,y)=0\\ & X_{}=B\left[\phi \right(z\left)\omega \right]-b(x,y)=\end{array}$$
  Grâce à la formule ci-dessus,
  $$Ho=Y$$
  式中：$HH$和$Y$ est fait par$L$ etB \mathcal{B}La matrice déterminée par$B.$
  Ensuite, résolvez les paramètres de pondération du réseau et utilisez la solution inverse généralisée de Moore-Penrose pour obtenir
  $$w^{\ast }=pjenv\left(H\right)Oui$$
• Enfin, obtenir la solution de l'EDP
  $$\widehat{tu}\left(x\right)=\phi \left(z\right)w^{\ast }$$

4. Affichage de l'exemple de calcul

4.1 Équation de Poisson 2D

$${tu}_x+{tu}_{oui}=\left(16{fois}^2+64{ans}^2-12\right)e^{-\left(2x{\_}^2+4{ans}^2\right)},(x,y)\in$$
Sauf :$$\Omega$$$Oh=\left\{\right(x,y)|X=0.55r\left(je\right)\cos \left(\theta \right),y=0.75r\left(je\right)\mathrm{péché}\left(\theta \right)\}$ ,$r\left(je\right)=1+\cos \left(\theta \right)\sin \left(4\theta \right),0\le je\le 2$
La vraie solution de l'$équation\; \pi$
$$tu=\frac{}{2}+e^{-\left(2x{\_}^2+4{ans}^2\right)}$$

4.2 Résultats

Les résultats de prédiction de la machine d'apprentissage extrême basés sur des informations physiques sont illustrés à la figure 3. On peut voir que les résultats de prédiction peuvent être très proches de la vraie solution de l'équation et que le temps de calcul est de 0,85 s.

Figure 3 : Prédiction d'apprentissage automatique extrême basée sur des informations physiques

Les résultats de prédiction de PINN sont illustrés à la figure 4. Le temps de calcul de PINN est de 144 s et la précision de prédiction est de deux ordres de grandeur inférieure à celle de la machine d'apprentissage extrême basée sur des informations physiques.

Figure 4 : Résultats de la prédiction PINN