序文
2024年中関村フォーラム年次総会およびハードテクノロジー投資開発フォーラムが最近、中関村国際イノベーションセンターで開催された。世界中から180名の投資家、金融家、起業家、業界専門家、関連政府指導者が参加し、「海外の資本のグローバル化とテクノロジー」、「ハードテクノロジー投資の確立と失敗」、「ハードテクノロジーの新たな世界的実践」に焦点を当てています。深い交流と議論が行われました。
北京市人民政府のハン・ゲン副書記長は演説の中で、新時代の歩みにおいては、新たな生産力の中核要素としてのハード科学技術の革新と発展が不可欠になったと述べた。そして中国の近代化推進における重要な力となっている。北京のユニコーン企業の数は常に国内第1位であり、そのうちハードテクノロジーのユニコーン企業が60％以上を占めている。未来に向けて、北京は6つの主要な科学技術分野で20の細分化された産業を配置し、4,000億ドル規模の科学技術イノベーション基金を設立した。これらの基金は、人工知能、ロボット工学、医療健康などの戦略的新興産業に焦点を当てることになる。 。
ハン・ゲン氏、北京市人民政府副秘書長
Alluxio は、新世代の AI データ プラットフォームとして世界で注目を集めており、チーフ アーキテクトの傅正佳博士がフォーラムに招待され、2023 ～ 2024 年の TED ショーで「新しい」をテーマに優れたイノベーション リーダーと面会しました。ハード テクノロジーのグローバル プラクティス」には、Zhipu AI 社長の Wang Shaolan、Pathfinder Group 社長の He Huajie、Oriental Space 共同創設者兼共同 CEO の Bu Xiangwei、Origin Quantum の CMO である Zhao Yongjie、および Zhong Haizheng が含まれます。 Zhijing Technology の創設者は、さまざまな企業の最新のコア技術と技術を共有し、実践しました。
Alluxio は「新世代 AI データ プラットフォーム」というトピックを共有しています。
Alluxio チーフアーキテクト、Fu Zhengjia 博士
AI の進化の加速とデータ管理の課題
AIは現在急速に進化しており、さまざまな業界の垂直・水平分野で広く注目を集めています。米国の投資家で未来学者のレイ・カーツウェルは、「2029年には人工知能が人間の知能のレベルに到達し、2045年までにスマートテクノロジーと人類の文明によって生み出された生物機械知能の能力は10億倍拡張されるだろう」と予測しています。 NVIDIA CEO の Jen-Hsun Huang 氏は、この 10 年にわたる既存のデータセンターの再利用と活用が、最終的にはアクセラレーション コンピューティングの変革につながると考えています。多くの企業は、生産効率を向上させ、より大きな価値を生み出すために、モデルをトレーニングして実際のビジネスに適用することで、AI を活用してビジネスを強化する準備を始めたり、活用したりしています。
同時に、ChatGPTから始まる新世代のAIでは、モデル構造がますます複雑になり、関係するパラメータの数がますます増大し、必要な計算能力もますます増加する傾向にあります。明らか。したがって、AI 開発の 3 つの最も重要なコアはコンピューティング能力、アルゴリズム、データであると一般に考えられていますが、AI インフラストラクチャの構築の重要性は実践によって証明されています。 、AI の 3 つの核となる側面は、優れた核となる能力がなければ解決できません。
企業は AI インフラストラクチャを構築する際にも、次のような一連の課題に直面します。
現在、国内企業は一般的に GPU の不足、価格の高さ、使用率の低さという問題に直面しています。しかし、たとえ GPU の問題が軽減されたとしても、GPU コンピューティングのデータをどのように管理して提供するかという別の問題が発生します。 、GPU が要求するデータ アクセス効率を実現する方法 (データ IO がボトルネックになると、GPU 使用率が不十分になり、トレーニングを実行する前にデータが GPU にロードされるまで待つ必要があります)。
アルゴリズムとビジネスのリーダーは、多くの場合、より高速なモデル構築サイクルと反復速度を必要としています。また、インテリジェント運転や無人運転車のためのデータ収集など、さまざまな業界からのデータの収集と注釈付けなど、データの増加傾向も明確に見られます。企業はデータのサイズの増大に備える必要があります。
規模の拡大には 2 つの側面があります。たとえば、大規模な言語モデルに加えて、全体のデータ量が増加することです。また、マルチモーダル、テキストベースの画像、テキストベースのビデオ、およびさまざまなモデルのトレーニングにはデータの準備が必要であるため、データ量は今後も増加します。
一方で、データ自体のサイズは増大しています。数年前には、顔認識画像は 100 KB か 200 KB しかありませんでしたが、今ではビデオ画像、4K 高解像度画像、写真が登場しています。データ自体は 1MB、4MB、8MB と常に増加するため、これら 2 つの次元を掛け合わせると、データ全体のサイズは平方レベルで増加します。
したがって、トレーニング効果を高めるには、トレーニング プラットフォーム全体のより優れたデータ ストレージとデータ I/O ソリューションが必要です。
Alluxio ソリューション
市場には、ある程度のニーズを満たすことができるソリューションがいくつかありますが、多くの問題を引き起こすことになります。特に、商用ストレージなど、もともとスーパーコンピューティング センターを対象とした一部のソリューションは、非常に高価であり、そのような設計にはなっていません。典型的な AI シナリオが直面する課題に合わせて設計されています。
したがって、Alluxio は、高性能の分散データ アクセス プラットフォームを使用して、AI 全体のデータ プラットフォームとデータ I/O が直面する問題をより適切に解決したいと考えています。 Alluxio は、Pytorch、TensorFlow、Ray などのコンピューティング フレームワーク (トレーニング プラットフォーム フレームワーク) とデータ ストレージの間にあり、低速ストレージとコンピューティング パワー フレームワークを調整および調整できます。これは、分散データ オーケストレーション ツールとも呼ばれます。
Alluxio を通じて、データを GPU や CPU の計算能力などのコンピューティング ノードに近づけることができ、データをホットとコールドから迅速かつ自動的に分離できるため、GPU トレーニング タスクでデータを迅速に取得できます。同時に、Alluxio は、さまざまなタイプの基礎となるデータ ソースを組み合わせて、低コストのコールド ストレージと Alluxio ホット キャッシュで構成される、費用対効果が高く ROI の高い全体的なソリューションを形成できます。
このソリューションが主に解決する最初のシナリオは、企業が独自のデータを所有しており、そのデータは比較的機密性が高いためクラウドに配置できず、同時にローカルのコンピューティング能力が不十分で必要な場合です。現時点では、企業は他のデータセンターから GPU を借用し、柔軟な GPU の導入をサポートし、データとコンピューティング能力のスケジューリングを柔軟に利用できるソリューションを必要としています。
2 番目のシナリオは、モデルのトレーニングが完了した後、それをオンライン推論クラスターに分散する必要があるというものです。モデルを頻繁に更新する必要がある推論クラスターでは、推論展開プロセスに I/O ボトルネックが発生する可能性があります。この場合、Alluxio は推論のデプロイ中に発生した問題を非常に効率的に解決できます。
Alluxio がもたらす価値
全体として、新世代の AI トレーニング プラットフォームでは、Alluxio はトレーニング プロセス全体に高速化サービスを提供するだけでなく、トレーニングされたモデルが推論クラスターにデプロイされるときに、全体的に高速化する機能により、より優れた推論と配布も提供できます。このソリューションでは、非常に高価なハードウェアを追加購入するのに比べて、Alluxio を迅速に導入して使用することができ、企業は標準の低コストのハードウェアを使用するだけで済み、真のコスト削減と効率の向上を実現できます。
テスト検証を通じて、Alluxio を使用しない場合はトレーニング タスクに 85 分かかりますが、Alluxio を使用すると 17 分しかかからず、全体のトレーニング時間の 10% を占める効率が向上したことが直感的にわかります。これによってもたらされる価値は、企業が多額の費用をかけて購入する GPU の使用率を、Alluxio によって当初の 17% から 93% に高めることができ、企業のインフラストラクチャが大幅に改善されるだけではありません。 ROI を高めながら、最終的なビジネスの立ち上げを加速します。
現在、Alluxio は世界中のさまざまな業界の企業や機関で広く採用されており、皆様と協力して AI の進化を加速し、より効率的に企業に投資収益率をもたらすことを楽しみにしています。
✦
[アシスタントを追加して詳細情報を入手]
✦
✦
【最近の人気】
✦
✦
【保電市場】
✦
この記事は WeChat 公開アカウント - Alluxio (Alluxio_China) から共有されたものです。
侵害がある場合は、削除について [email protected] までご連絡ください。
この記事は「OSC ソース作成計画」に参加していますので、読んでいる方もぜひ参加して共有してください。