著者:ユー・ファン
背景
ニューラル ネットワーク アーキテクチャの開発の歴史を振り返ると、対称性が常に隠れた中心的な役割を果たしてきたことがわかり、幾何学的な深層学習は対称性の重要性を強調しています。一方で、従来のコンピュータ ビジョンや自然言語処理の分野では、Transformer に基づくネットワーク アーキテクチャが近年驚くべき成果を達成していることがわかりました。一方、自然科学では第一原理として対称性が重要な役割を果たしています。したがって、対称性の観点から、幾何学的な深層学習が人工知能と科学の組み合わせにおいて重要な役割を果たすと信じる理由があります。
図 1: 人工知能と科学の分野における幾何学的な深層学習の組み合わせ
実際、深層幾何学習は科学用 AI の分野で目覚ましい成果を上げており、今後ますます重要な役割を果たすことになります。 Alphafold2 は、グラフ ニューラル ネットワークと Transformer に基づいており、タンパク質構造の予測において非常に高い精度を示します。低分子構造の予測と生成では、グラフ ニューラル ネットワークにユークリッド空間の剛体変換対称 (E(3) 対称グループ) を追加すると、計算精度が大幅に向上し、トレーニングの複雑さが軽減されます。地球規模の気象予測では、地球の表面は 2 次元の球体であるため、多様体上の畳み込みや座標仕様の変換などの問題が伴います。幾何学的な深層学習は、ニューラル ネットワークの設計に体系的な理論的枠組みを提供します。宇宙論では、空間と時間が重力によって湾曲しますが、幾何学的な深層学習は、この湾曲したリーマン多様体構造と AI の組み合わせに理論的基礎を提供します。
一方で、物性物理学や量子物理学などの基礎科学分野では、AIとの統合度はまだ深くありません。なぜなら、これらの分野では人類による体系的な理論的知識は比較的よく発達しているものの、質の高いデータを入手することが非常に難しいからです。したがって、既知の知識をニューラル ネットワークに「注入」し、データの利用を改善する方法が特に重要です。
グループ等変ニューラル ネットワークは、データ利用の向上において驚くべき利点を示しています。たとえば、3 次元テトリスの分類タスクでは、合計 8 つの構成があります。従来のアプローチでは、データ強化のためにデータの各構成を大量に空間回転する必要があり、間違いなくデータ量とトレーニングの複雑さが大幅に増加し、予測精度を保証できません。 E(3) 等変ニューラル ネットワークでは、各構成に必要なデータは 1 つだけですが、E(3) 変換を通じて 2 つの構成を接続できる場合はさらに少なくなります。このニューラル ネットワークは、必要なデータ量を大幅に削減しながら、理論レベルで予測精度が保証されていると同時に、より優れた解釈性と表現力を備えています。
対称性は既知の知識の中でも奥深く、基本的な知識であり、自然法則を説明する鍵でもあります。たとえば、高エネルギー粒子の時空はローレンツ群対称性 (SO (1, 3) 群) を持ち、ローレンツ群等変ニューラル ネットワークは将来の高エネルギー物理学で重要な役割を果たす可能性があります。現代物理学は場の理論を使用して記述されており、その背後にある数学言語も微分幾何学とファイバー束です。深層幾何学学習が現代物理学と人工知能の組み合わせにおいて主導的な役割を果たすことが予測されます。
幾何学的な深層学習に基づく大規模な科学向け AI モデルの場合、シンプルかつ大胆なアイデアを作成できます。まず、対称群のリー代数手法を学習するなど、ある種のニューラル ネットワークを通じて入力システムの対称性を学習します。 3]; その後、特定のメカニズムによってさまざまな対称性の強度が制御され、ネットワークが入力システムのおおよその対称性を満たすことができるように、等変ネットワークのどの対称性グループを使用するかを選択できるようになります。もちろん、今後の大規模モデルはそれほど単純ではない可能性が高く、未解決の課題も山積しており、今後のさらなる進展に期待したい。
図 2: L-conv 学習データの SO(2) 群のリー代数
参考文献
[1] ブロンスタイン、マイケル M.、他。 「幾何学的な深層学習: グリッド、グループ、グラフ、測地線、ゲージ」 arXiv プレプリント arXiv:2104.13478 (2021)。
[2] ワイラー、モーリス、他。 「独立した畳み込みネットワークの調整 - リーマン多様体上のアイソメトリおよびゲージ等変畳み込み」 arXiv プレプリント arXiv:2106.06020 (2021)。
[3] Dehmamy N、Walters R、Liu Y、他。リー代数畳み込みネットワークによる自動対称性発見[J]。神経情報処理システムの進歩、2021、34: 2503-2515。
1990 年代生まれのプログラマーがビデオ移植ソフトウェアを開発し、1 年足らずで 700 万以上の利益を上げました。結末は非常に罰的でした。 Google は、Flutter、Dart、Python チームの中国人プログラマーの「35 歳の呪い」に関係する人員削減を認めた 。Microsoft は 、 無力な中年者にとっては幸運なおもちゃでもある。強力で GPT-4.5 の疑いがある; Tongyi Qianwen オープンソース 8 モデルWindows 1.0 が 3 か月以内に正式に GA Windows 10 の市場シェアは 70% に達し、Windows 11 GitHub がAI ネイティブ開発ツール GitHub Copilot Workspace JAVAをリリースOLTP+OLAP を処理できる唯一の強力なクエリです。これが最高の ORM です。