著者:ユー・ファン
背景
偏微分方程式によってモデル化された複雑な時空システムは、応用数学、物理学、生物学、化学、工学などの多くの分野で広く普及しています。ほとんどの場合、これらの複雑な物理システムを記述するために使用される PDE の解析解を得ることができないため、有限要素、有限差分、等幾何解析 (IGA) およびその他の手法を含む数値解法が広範囲に研究されてきました。これらの従来の数値手法は、基底関数を通じて方程式の正確な解を十分に近似できますが、データの同化と逆問題の解決には依然として膨大な計算オーバーヘッドが存在します。
近年、非線形システムの順問題および逆問題を解決するために、さまざまな深層学習手法が後を絶たないように登場しています。DNN を使用して物理システムをモデル化する研究は、連続ネットワークと離散ネットワークの 2 つのカテゴリに大別されます。連続ネットワークの典型的な代表例は PINN です。PDE の残差はニューラル ネットワークのソフト制約として使用され、全結合層は方程式の解を近似するために使用され、モデルは小規模なデータ スケールまたは小規模なデータ スケールで実行できます。ラベルのないサンプリングされたデータも同様です。それにもかかわらず、PINN は低次元のパラメータ化に限定されることが多く、急勾配や複雑な局所形態を持つ PDE システムに直面すると拡張されてしまいます。最近、少数のパイロット研究により、離散ネットワークは連続学習よりもスケーラビリティが高く、収束速度が速いことがわかっています。たとえば、CNN は、時間に依存しないシステムの長方形領域のプロキシ モデルとして使用できます。時間依存システムの場合、座標変換を通じて定常状態の偏微分方程式を幾何学的に適応的に解くために、ほとんどのニューラル ネットワーク解法は依然としてデータ駆動型およびメッシュ化に基づいています。
PhyCRNet[1] は、中国人民大学ヒルハウス人工知能大学院の Sun Hao 教授のチームが、ノースイースタン大学 (米国) およびノートルダム大学と協力して提案したもので、多次元の時空間領域で偏微分方程式を解くための教師なし手法です。物理的な事前知識と畳み込み再帰ネットワーク アーキテクチャによる、ConvLSTM (低次元の空間特徴の抽出と時間発展の学習)、グローバル残差接続 (時間軸上で方程式解の変化を厳密にマッピング)、および高次の有限差分を組み合わせた学習方法。時空間フィルタリング (残留損失関数の構築を決定する、必要な PDE 導関数の機能) は、逆問題に直面した場合やデータがまばらでノイズが多い場合の基本的な解決策となります。
1. 問題定義
多次元非線形パラメトリック偏微分方程式を考慮すると、一般的な形式は次のようになります。
ここで、u(x, t) は時間領域 T と空間領域 Ω における方程式の解を表し、F はパラメータ λ を持つ非線形関数です。
**2. **モデル法
ConvLSTM
ConvLSTM は、LSTM とそのバリアント LSTM エンコーダ/デコーダ予測アーキテクチャ (時間の経過とともに進化する長期の依存関係をモデル化するという利点があります) を拡張した時空間シーケンス間学習フレームワークです。基本的に、メモリ ユニットはアクセスされる入力および状態情報によって更新され、メモリの蓄積とクリアは巧妙に設計された制御ゲートによって完了します。この設定に基づいて、通常のリカレント ニューラル ネットワーク (RNN) の勾配消失の問題が軽減されます。 ConvLSTM は、情報フローを制御するために LSTM の基本構造 (つまり、セル ユニットとゲート) を継承し、CNN のより優れた空間接続表現機能を考慮して完全接続ニューラル ネットワーク (FC-NN) を変更し、CNN 上でゲート操作を実行します。 。特殊なタイプの RNN である LSTM は、時間依存の PDE 方程式を解く陰的な数値法として使用できます。単一の ConvLSTM ユニットの構造図は次のとおりです。
図 1: 時刻 t における単一の ConvLSTM セル
ConvLSTM ユニットの更新の数学的表現は次のとおりです。
このうち、*は畳み込み演算、⊙はアダマール積、Wはフィルタの重みパラメータ、bはバイアスベクトルを表します。
ピクセルシャッフル
ピクセル シャッフルは、低解像度 (LR) 画像を高解像度 (HR) 画像にアップサンプリングする効率的なサブピクセル コンボリューション操作です。 LR 特徴テンソルの次元が (C、H xr、W xr) の次元を持つ HR テンソルであると仮定します。
図 2: ピクセル シャッフル レイヤー
ピクセル シャッフルの効率は次の点に反映されます。(1) 畳み込みの最後の層でのみ解像度を向上させるため、デコンボリューションなどの画像をターゲット解像度まで高めるためにさらに多くの畳み込み層を使用する必要がなくなります。アップサンプリング レイヤーの前のすべての特徴抽出レイヤーでは、より小さなフィルターを使用してこれらの低解像度テンソルを処理できます。
PhyCRNet
PhyCRNet は、エンコーダ/デコーダ モジュール、残差接続、自己回帰プロセス、およびフィルタベースの差分メソッドで構成されます。エンコーダーには、特定の瞬間の状態変数 Ui から低次元の潜在特徴を学習し、ConvLSTM を通じて時間の経過とともに進化させるための 3 つの畳み込み層が含まれています。変換は低次元の変数に対して実行されるため、メモリのオーバーヘッドはそれに応じて削減されます。さらに、順オイラー法にヒントを得て、入力変数 Ui と出力変数 Ui+1 の間にグローバル残差接続を追加でき、シングルステップ学習プロセスは Ui+1 = Ui + δt x N として表すことができます。 [Ui; θ]、ここで N[・] は訓練されたニューラル ネットワーク オペレーターを表し、δt は単位時間間隔です。したがって、この再帰的な関係は、単純な自己回帰プロセスとみなすことができます。
図 3: PhyCRNet ネットワーク構造図
ここで、U0 は初期条件、U1 から UT はモデルによって予測される必要がある離散解、および入力から出力までの時間変化です。従来の数値手法と比較して、ConvLSTM はより長い時間間隔を使用できます。各微分項の計算には、固定コンボリューション カーネル [1] を使用してそれらの差分値を表します。PhyCRNet では、時間と空間に関する U の導関数を計算するために 2 次および 4 次の差分項が使用されます。コンピューティング パフォーマンスをさらに最適化するために、各サイクルの最初の瞬間を除いて、サイズ T のサイクルでエンコーダー部分をスキップできます。概略図は次のとおりです。
図 4: PhyCRNet-s ネットワーク構造図
I/BC のハード制約
物理的な初期境界条件をソフト制約として使用する PINN 手法 (その残差は損失の一部として最適化される) と比較して、PhyCRNet はモデルに I/BC をハードコーディングする手法を使用します (初期条件は入力 U0 として使用されます)。 ConvLSTM の境界条件はパディングによってエンコードされるため、物理的条件がソフト制約ではなくなり、モデルの精度と収束速度が向上します。ディリクレ BC の場合は、既知の定数境界値を空間領域のパディングとして直接埋めることができますが、ノイマン BC の場合は、空間領域の周囲にゴースト要素の層 (ゴースト要素) を追加できます。トレーニングプロセス中の差異によって近似されます。
図 5: 境界条件に対するハード制約の図
損失関数
I/BC はモデル内で厳密に制約されているため、損失関数には PDE の残差項を含めるだけで済みます。2 次元 PDE システムを例にとると、損失関数は次のように表すことができます。
ここで、n と m はグリッドの高さと幅を表し、T はタイム ステップの合計数、R(x, t; θ) は PDE の残差です。
**3. **結果分析
ドメイン全体のモデル誤差を評価するには、時間 τ での累積二乗平均平方根誤差 (a-RMSE) を次のように計算します。
ここで、Nτ は [0, τ] のタイム ステップ数、u*(x, t) は方程式の参照解です。
2次元バーガー方程式
次の形式の 2 次元バーガース方程式を前提として、流体力学の古典的な問題を考えてみましょう。
トレーニング (t = 1.0、2.0) と外挿 (t = 3.0、4.0) の 4 つの時点を選択して、PhyCRNet メソッドと PINN メソッドの解の精度と外挿機能を比較します。
図 6: 2 次元バーガーズ方程式の PhyCRNet 対 PINN のトレーニングと外挿の結果
λ-ω RD 方程式
2 番目のケースとして、2 次元 λ-ω RD システム (マルチスケールの生化学プロセスを表すためによく使用されます) を考えてみましょう。
このうち、u と v は次を満たす 2 つのフィールド変数です。
λ と ω は 2 つの実数値関数です。
領域 [-10, 10] の合計 801 タイム ステップの参照ソリューションはスペクトル法によって生成されます。[0, 5] 期間で 200 タイム ステップのトレーニング後、[5, 10] の参照ソリューションが生成されます。 】 期間中に予測を行っており、PhyCRNetとPINNを比較した予測結果は以下の通りです。
図 7: PhyCRNet 対 PINN のトレーニングと λ-ω RD 方程式の外挿結果
以下の図は、上記の 2 つの PDE システムでのトレーニングと外挿中の PhyCRNet と PINN の誤差伝播曲線を示しています。PhyCRNet が両方の段階 (特に外挿段階) で優れていることがはっきりとわかります。
図 8: PhyCRNet と PINN のエラー伝播の比較
参考文献
[1] Ren P、Rao C、Liu Y、他。 PhyCRNet: 時空間偏微分方程式を解くための物理学に基づいた畳み込み再帰型ネットワーク[J]。応用力学および工学におけるコンピュータ手法、2022、389: 114399。
[2] https://www.sciencedirect.com/science/article/abs/pii/S0045782521006514?via%3Dihub
1990 年代生まれのプログラマーがビデオ移植ソフトウェアを開発し、1 年足らずで 700 万以上の利益を上げました。結末は非常に罰的でした。 Google は、Flutter、Dart、Python チームの中国人プログラマーの「35 歳の呪い」に関係する人員削減を認めた 。Microsoft は 、 無力な中年者にとっては幸運なおもちゃでもある。強力で GPT-4.5 の疑いがある; Tongyi Qianwen オープンソース 8 モデルWindows 1.0 が 3 か月以内に正式に GA Windows 10 の市場シェアは 70% に達し、Windows 11 GitHub がAI ネイティブ開発ツール GitHub Copilot Workspace JAVAをリリースOLTP+OLAP を処理できる唯一の強力なクエリです。これが最高の ORM です。