最近、Alluxio 分散キャッシュ システムは、データ管理と高速化の課題を解決することを目的として、XSKY の XEOS V6.4 オブジェクト ストレージとの互換性テストを完了しました。両社は綿密な製品ドッキングと共同開発を実施し、Alluxio 分散キャッシュ システムと XEOS オブジェクト ストレージの多くのアプリケーション機能を組み合わせ、AI シナリオにおけるデータ管理と高速化のニーズをより適切にサポートするための統合ストレージ共同ソリューションを立ち上げました。
近年、AIとビッグデータの段階的な促進と改善、特に大規模なAIモデル（LLM、マルチモーダル、文生ビデオなど）の広範な促進に伴い、非常に大量のデータの保存とアクセスが可能になりました。企業が直面する技術的およびコスト的な課題。
オブジェクト ストレージは、優れたスケーラビリティ、高いセキュリティ、制御可能なコストという特徴を備えており、現在最も人気のある大容量データ ストレージ テクノロジーの選択肢となっています。ただし、オブジェクト ストレージはデータ アクセス パフォーマンスの点でも一連の課題に直面しており、特に AI モデルのトレーニング シナリオでは、データ アクセス パフォーマンスの強化が GPU 使用率を向上させるための重要な要素となっています。オブジェクト ストレージと効果的に組み合わせて、オブジェクト ストレージの利点と優れたパフォーマンスを備えたオールインワン ソリューションを組み合わせることができます。
Alluxio データ プラットフォームと XEOS の連携により、ユーザーはより高性能、低コスト、より柔軟なデータ管理および高速化ソリューションを提供でき、さまざまな分野での AI 技術の応用と開発が促進されることが期待されます。
Alluxio Enterprise AI と XEOS が連携
Alluxio Enterprise AI は、ローカル、クラウド、ハイブリッド、またはマルチクラウド環境でのデータと人工知能ワークロードのシームレスなアクセス、管理、操作をサポートする AI 関連シナリオ用のデータ プラットフォームです。
インテリジェントなキャッシュ機能: Alluxio によって発売された Alluxio Enterprise AI プラットフォームは、高性能の分散キャッシュ システムを提供できるため、AI エンジンなどのコンピューティング アプリケーションは、比較的遅いオブジェクトを使用する代わりに、高性能の Alluxio キャッシュにアクセスすることでデータ I/O を改善できます。データを読み書きするためのストレージ。そのインテリジェントなキャッシュ戦略は、AI などのワークロードの I/O パターンに合わせて調整されており、AI やその他のコンピューティング ワークフロー全体に高スループットと低遅延を提供します。 Alluxio は、GPU 使用率を 90% 以上に高め、データを GPU サイクルと同期させ、モデルのトレーニングとモデルの提供を加速します。
データのコピーは不要: Alluxio は、データをローカル ストレージにコピーするのではなく、オンデマンドですばやくロードします。これにより、データの読み込みによって引き起こされるコンピューティング パフォーマンスのボトルネックが解消されます。高性能のオンデマンド データ アクセスにより、データのコピーを排除し、パフォーマンスを向上させます。
コスト削減: Alluxio は、実際のコンピューティングのニーズに基づいてコンピューティング側の近くに柔軟に導入でき、アイドル状態のリソースを最大限に活用して透過的なデータ アクセス アクセラレーション機能を提供し、コンピューティング側での GPU/CPU 使用率を向上させ、より少ないコストでより良いパフォーマンスを実現します。効果。
アプリケーションを書き直す必要はありません。Alluxioは、統一された名前空間を通じてデータ テクノロジー スタックを標準化し、さまざまなストレージ システムにわたって統一されたアクセス モードを提供し、S3/HDFS/POSIX/RESTful などのさまざまな API 機能を提供できます。アプリケーション開発者はデータの保存場所について考える必要がなくなり、アプリケーションを書き直すことなくコンピューティングとストレージを分離できます。
XEOS は、XSKY によって発売されたエンタープライズ レベルのオブジェクト ストレージ製品です。シームレスな拡張、異種ストレージ システム全体にわたる統合管理、高性能アクセス、インテリジェントなデータ管理、その他の機能をサポートし、企業が安全で信頼性の高い高性能、低コストのオブジェクト ストレージ プラットフォームを簡単に構築して、大規模なストレージ システムの増大するニーズに対応できるように支援します。データ管理。 。
包括的なオブジェクト ストレージ ソリューションとして、XEOS はデータ レイクの理想的なベースであり、特に AI シナリオでのデータ ストレージと管理に適しています。データ レイクの基盤となるストレージとして、XEOS には次の利点があります。
無制限のスケーラビリティ: XEOS は分散メタデータとストレージ ノードをサポートしており、大規模なデータ蓄積のニーズを満たすために数千億のオブジェクト ストレージ容量まで簡単に拡張できます。
ハイパフォーマンス アクセス:統合メタデータ サービス、インテリジェントなマルチレベル キャッシング、およびその他のテクノロジにより、高速なデータ アクセス パフォーマンスが確保され、データ レイク内のさまざまなアプリケーションのニーズが満たされます。
強力なデータ管理機能: XEOS は豊富なデータ ライフ サイクル管理、ストレージ分類、圧縮などの機能を提供し、ストレージ効率とコスト パフォーマンスを効果的に向上させます。
優れたデータ セキュリティ: XEOS は、EC、レプリカ、フォールト ドメインなどのメカニズムに加え、暗号化、スナップショット、ごみ箱などのテクノロジーを使用して、データの継続的な高可用性とセキュリティを確保します。
インテリジェントなエコロジー サポート: XEOS は、ビッグ データ、機械学習、その他のアプリケーションと高度に統合されており、グラフィカル ツール、カスタム メタデータ、データ フロー、その他の機能を提供し、エンドツーエンドのデータ インテリジェント アプリケーションの構築を支援します。
XEOS と Alluxio は、
両方の利点を最大限に活用する共同ソリューションに深く統合されています。
XEOS と Alluxio の統合により、XEOS と Alluxio の機能が最大限に活用され、より高いパフォーマンス、より低いコスト、より柔軟なデータ管理および高速化ソリューションが実現されます。 2 つの製品の基本的な統合が完了した後、両当事者は基本機能の検証を完了しただけでなく、AI シナリオに基づいて Alluxio と XEOS の詳細な組み合わせ開発を検討しました。
Alluxio と XEOS は、メタデータ インターフェイスを深く統合してデバッグし、数百億から数千億のオブジェクトに基づいた高性能データ リクエストを実装し、数百万もの高性能かつ低遅延の IOPS をサポートしています。
XEOS は分散メタデータ サービス機能を提供し、Alluxio はステートレスでスケーラブルなメタデータ ストレージとサービス機能を提供し、同時に、Alluxio と XEOS はメタデータ関連のインターフェイス呼び出しと不要なデータの統合における不必要なコストを効果的に削減します。送信により、メタデータ インターフェイス間の対話パフォーマンスが大幅に向上します。
Alluxio のステートレスなスケーラビリティにより、各 Alluxio ノードは、XEOS 独自の高性能メタデータ アクセス インターフェイス機能を使用して、特に大量の同時データ リクエストのサポート機能を犠牲にすることなく、メタデータ サービスを拡張して、大量のメタデータ リクエストとキャッシュを個別にサポートします。大量の小さなファイルを処理することで、XEOS 上での大量の同時メタデータ要求の負荷が軽減されるだけでなく、メタデータ要求のサービス パフォーマンスも大幅に向上します。
Alluxio と XEOS は、XEOS が提供するデータ セット メッセージ通知機能を最大限に活用できます。 XEOS がデータの変更を感知すると、リアルタイムで通知を Alluxio にプッシュします。 Alluxio は、メッセージ通知メカニズムを使用して、どのデータをキャッシュにウォームアップする必要があるかを正確かつ迅速に判断できます。
メッセージ通知に基づくこのキャッシュ予熱メカニズムにより、Alluxio キャッシュのリアルタイム性と正確性を確保できます。アプリケーションに手動で介入することなく、Alluxio はデータの変更を自動的に感知し、キャッシュの更新とプリフェッチを迅速に完了し、キャッシュの適時性を大幅に向上させ、データ アクセスのパフォーマンスを確保し、計算に対する予熱の影響を大幅に軽減します。
この緊密な統合により、キャッシュ ヒット率が向上するだけでなく、不必要なデータの移動が最小限に抑えられ、全体的な I/O パフォーマンスとリソース利用効率が大幅に最適化されます。 Alluxio と XEOS の連携により、AI アプリケーションは優れたデータ アクセス エクスペリエンスを得ることができます。
XEOS が提供する追加書き込み機能とランダム書き込み機能は、Alluxio キャッシュ層のデータ書き込み機能と高度に統合して、より効率的なデータ書き込み機能を提供できます。
XEOS 作为 Alluxio 的持久化存储层，不仅提供了海量的存储容量，还支持丰富的写入模式，如追加写、随机写等。Alluxio 可以充分利用 XEOS 的这些写入功能来优化缓存写入功能和性能。对于需要频繁更新的热点数据，Alluxio 可以直接以追加写或随机写的方式将数据写入 XEOS，避免了传统对象存储仅支持覆盖写所带来的性能瓶颈。这大幅提升了 Alluxio 缓存层的写入效率。
通过 Alluxio 和 XEOS 的深度融合，可以最大限度地减少数据在两者之间的不必要移动。这提供了更高效的数据写入能力，提升了整体的写入性能，大幅降低了 Alluxio 自身的写入开销，优化了系统的资源利用效率。
XEOS 凭借其出色的数据生命周期管理和流动能力，为 Alluxio 提供了强大的支撑。在最新的 6.4 版本中，XEOS 通过开放数据流动 API 进一步增强了这些核心优势：
通过 XEOS 全面的数据流动 API，应用程序可以轻松实现跨云厂商、NAS、蓝光/磁带等不同存储介质的数据流动。Alluxio 只需下发数据流动规则，XEOS 就可以负责执行具体的数据复制、分层、归档等操作。这种深度集成大大减少了 Alluxio 在读取数据后再次写入到统一文件系统（UFS）的开销，降低了整体的数据写入开销。
同时，XEOS 还提供了复制、分层、校验、QoS 等丰富的数据管理功能。通过与 Alluxio 的紧密结合，双方可以根据实际需求，优化数据的存储和访问策略，不仅提升了数据访问性能，也大幅提高了整个数据生命周期的管理效率。
XEOS 6.4 版本在数据流动和生命周期管理方面的创新能力，为 Alluxio 构建高性能、高效、智能的 AI 数据管理平台提供了坚实的基础。
针对 AI 的优势场景：
以对象为底座且需要高性能文件访问
Alluxio 和 XEOS 的联合方案，针对尤其是在 AI 场景下，以对象存储作为底座，并且需要高性能文件协议访问的客户具备非常大的价值，包括如下四点：
Alluxio 和 XEOS 结合，可以有效综合 XEOS 的高性能对象存储接口能力以及 Alluxio 贴近计算侧的高性能共享缓存层的能力，为计算应用提供高性能数据访问能力。
XEOS 提供了海量数据存储能力，Alluxio 提供了无状态可扩展的共享缓存能力，都可以随着数据存储以及数据访问规模的增大而扩展，既能支撑海量存储又能提供高性能的大规模数据访问能力。
XEOS 作为成熟的对象存储产品，利用一系列技术实现了更加经济的海量数据存储方案，有效降低了企业的海量数据存储成本；Alluxio 则可以通过灵活的部署策略，有效利用企业计算侧的高性能存储空间提供贴近计算侧的共享缓存能力，在不增加额外硬件成本的基础上实现高性能数据访问能力的构建。
XEOS 构建了安全可靠、高性能、低成本的对象存储平台，Alluxio 基于 XEOS 提供了高效数据缓存以及数据访问平台，Alluxio 某种意义上是 XEOS 的扩展客户端，实现 1+1>2 的架构。
√
可以利用 Alluxio 的统一命名空间实现多个 XEOS 以及 XEOS 和其他文件/对象存储系统的统一访问。
√
可以利用 Alluxio+XEOS 提供更加高效的 POSIX 和 S3 协议的接口能力。
√
可以利用 Alluxio+XEOS 提供更完善的安全能力，包括和 Kerberos、Ranger 等集成。
✦
【添加小助手，了解更多活动详情】
✦
✦
【近期热门】
✦
✦
【宝典集市】
✦
本文分享自微信公众号 - Alluxio（Alluxio_China）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。