Récemment, le système de cache distribué Alluxio a terminé le test de compatibilité avec le stockage objet XEOS V6.4 de XSKY, dans le but de résoudre les défis de gestion et d'accélération des données. Les deux parties ont mené une synchronisation approfondie des produits et un développement conjoint, combinant le système de cache distribué Alluxio avec les nombreuses fonctionnalités d'application du stockage objet XEOS, et lançant une solution commune de stockage intégré pour mieux prendre en charge les besoins de gestion des données et d'accélération dans les scénarios d'IA.
Ces dernières années, avec la promotion et l'amélioration progressives de l'IA et du big data, notamment la promotion généralisée des grands modèles d'IA (LLM, multimodal, Wensheng Video, etc.), le stockage et l'accès à des quantités extrêmement importantes de données sont devenus un problème majeur auquel sont confrontées les entreprises, en termes de techniques et de coûts.
Le stockage objet présente les caractéristiques d'une bonne évolutivité, d'une sécurité élevée et d'un coût contrôlable, et est devenu actuellement la sélection technologique de stockage de données de masse la plus populaire. Cependant, le stockage objet est également confronté à une série de défis en termes de performances d'accès aux données, en particulier dans les scénarios de formation de modèles d'IA, l'amélioration des performances d'accès aux données est devenue un facteur clé pour améliorer l'utilisation des GPU. peut se combiner efficacement avec le stockage objet et combiner Une solution tout-en-un avec des avantages de stockage objet et d'excellentes performances.
Cette coopération entre la plateforme de données Alluxio et XEOS offrira aux utilisateurs des solutions de gestion et d'accélération des données plus performantes, moins coûteuses et plus flexibles, ce qui devrait promouvoir l'application et le développement de la technologie de l'IA dans divers domaines.
Alluxio Enterprise AI et XEOS unissent leurs forces
Alluxio Enterprise AI est une plateforme de données pour les scénarios liés à l'IA qui prend en charge un accès, une gestion et un fonctionnement transparents de vos données et charges de travail d'intelligence artificielle dans des environnements locaux, cloud, hybrides ou multi-cloud.
Capacité de mise en cache intelligente : la plate-forme Alluxio Enterprise AI lancée par Alluxio peut fournir un système de cache distribué hautes performances, de sorte que les applications informatiques telles que les moteurs d'IA peuvent améliorer les E/S de données en accédant au cache Alluxio hautes performances, au lieu d'utiliser des objets relativement lents. stockage pour lire et écrire des données. Sa stratégie de mise en cache intelligente est adaptée aux modèles d'E/S des charges de travail telles que l'IA, offrant un débit élevé et une faible latence pour l'ensemble des flux de travail de l'IA et des autres flux informatiques. Alluxio peut augmenter l'utilisation du GPU à plus de 90 %, synchroniser les données avec les cycles du GPU et accélérer la formation et la diffusion de modèles.
Aucune copie de données requise : Alluxio charge rapidement les données à la demande plutôt que de les copier sur le stockage local. Cela élimine le goulot d'étranglement sur les performances informatiques causé par le chargement des données. Éliminez les copies de données et améliorez les performances grâce à un accès aux données hautes performances et à la demande.
Économies de coûts : Alluxio peut être déployé de manière flexible à proximité du côté informatique en fonction des besoins informatiques réels, en utilisant pleinement les ressources inutilisées pour fournir des capacités transparentes d'accélération de l'accès aux données afin d'améliorer l'utilisation du GPU/CPU du côté informatique et d'obtenir de meilleures performances à moindre coût. Effet.
Pas besoin de réécrire les applications : Alluxio standardise la pile technologique de données via un espace de noms unifié, fournit un mode d'accès unifié sur différents systèmes de stockage et peut fournir diverses fonctionnalités API telles que S3/HDFS/POSIX/RESTful. Les développeurs d'applications n'ont plus besoin de réfléchir à l'endroit où les données sont stockées et peuvent dissocier le calcul et le stockage sans avoir à réécrire les applications.
XEOS est un produit de stockage d'objets au niveau de l'entreprise lancé par XSKY. Il prend en charge une expansion transparente, une gestion unifiée sur des systèmes de stockage hétérogènes, un accès hautes performances, une gestion intelligente des données et d'autres fonctions, aidant les entreprises à créer facilement des plates-formes de stockage d'objets sûres, fiables, hautes performances et à faible coût pour répondre aux besoins croissants de stockage massif. gestion de données. .
En tant que solution complète de stockage d'objets, XEOS constitue une base idéale pour les lacs de données, particulièrement adaptée au stockage et à la gestion des données dans les scénarios d'IA. En tant que stockage sous-jacent du lac de données, XEOS présente les avantages suivants :
Évolutivité illimitée : XEOS prend en charge les métadonnées distribuées et les nœuds de stockage, et peut être facilement étendu à des centaines de milliards de capacité de stockage d'objets pour répondre aux besoins d'accumulation massive de données ;
Accès haute performance : des services de métadonnées unifiés, une mise en cache intelligente à plusieurs niveaux et d'autres technologies garantissent des performances d'accès rapide aux données et répondent aux besoins des diverses applications du lac de données ;
Fonctions puissantes de gestion des données : XEOS offre une gestion riche du cycle de vie des données, une classification du stockage, une compression et d'autres fonctions, améliorant efficacement l'efficacité du stockage et la performance des coûts ;
Excellente sécurité des données : XEOS utilise des mécanismes tels que EC, des répliques et des domaines de pannes, ainsi que des technologies telles que le cryptage, les instantanés et les corbeilles pour garantir une haute disponibilité et une sécurité continues des données ;
Prise en charge écologique intelligente : XEOS est hautement intégré au Big Data, à l'apprentissage automatique et à d'autres applications, fournissant des outils graphiques, des métadonnées personnalisées, des flux de données et d'autres fonctions, aidant à créer des applications intelligentes de données de bout en bout.
XEOS et Alluxio sont profondément intégrés dans
une solution commune qui exploite pleinement les avantages des deux.
L'intégration de XEOS et Alluxio utilise pleinement les capacités de XEOS et Alluxio pour obtenir des performances supérieures, des coûts réduits et des solutions de gestion et d'accélération des données plus flexibles. Après avoir terminé l'intégration de base des deux produits, les deux parties ont non seulement effectué la vérification des fonctions de base, mais ont également exploré en profondeur le développement combiné d'Alluxio et de XEOS sur la base de scénarios d'IA.
Alluxio et XEOS ont profondément intégré et débogué des interfaces de métadonnées, mis en œuvre des requêtes de données hautes performances basées sur des dizaines à des centaines de milliards d'objets et pris en charge des millions d'IOPS hautes performances et à faible latence.
XEOS fournit des capacités de service de métadonnées distribuées, et Alluxio fournit des capacités de stockage et de service de métadonnées sans état et évolutives, garantissant toutes deux une bonne évolutivité. Dans le même temps, Alluxio et XEOS réduisent efficacement les coûts inutiles liés à l'intégration d'interfaces liées aux métadonnées et aux données inutiles. La transmission améliore considérablement les performances d'interaction entre les interfaces de métadonnées.
Grâce à l'évolutivité sans état d'Alluxio, chaque nœud Alluxio prend en charge indépendamment une quantité considérable de requêtes de métadonnées et de mise en cache, en utilisant les propres capacités d'interface d'accès aux métadonnées hautes performances de XEOS pour étendre les services de métadonnées sans sacrifier les performances des requêtes de métadonnées, en particulier pour les demandes de données simultanées élevées. Les petits fichiers volumineux peuvent non seulement réduire la pression des demandes de métadonnées simultanées élevées sur XEOS, mais également améliorer considérablement les performances du service des demandes de métadonnées.
Alluxio et XEOS peuvent exploiter pleinement les capacités de notification de messages d'ensemble de données fournies par XEOS. Lorsque XEOS détecte des changements de données, il envoie des notifications à Alluxio en temps réel. Alluxio peut utiliser le mécanisme de notification de message pour déterminer avec précision et rapidité quelles données doivent être réchauffées dans le cache.
Ce mécanisme de préchauffage du cache basé sur la notification des messages peut garantir le temps réel et la précision du cache Alluxio. Sans intervention manuelle dans l'application, Alluxio peut détecter automatiquement les modifications des données, effectuer rapidement les mises à jour et la prélecture du cache, améliorer considérablement la rapidité du cache, garantir les performances d'accès aux données et réduire considérablement l'impact du préchauffage sur les calculs.
Cette intégration approfondie améliore non seulement le taux de réussite du cache, mais minimise également les mouvements de données inutiles, optimisant ainsi considérablement les performances globales d'E/S et l'efficacité de l'utilisation des ressources. Grâce à la collaboration d'Alluxio et XEOS, les applications d'IA peuvent obtenir une excellente expérience d'accès aux données.
Les capacités d'écriture ajoutée et d'écriture aléatoire fournies par XEOS peuvent être hautement intégrées aux capacités d'écriture de données de la couche de cache Alluxio pour fournir des capacités d'écriture de données plus efficaces.
XEOS 作为 Alluxio 的持久化存储层，不仅提供了海量的存储容量，还支持丰富的写入模式，如追加写、随机写等。Alluxio 可以充分利用 XEOS 的这些写入功能来优化缓存写入功能和性能。对于需要频繁更新的热点数据，Alluxio 可以直接以追加写或随机写的方式将数据写入 XEOS，避免了传统对象存储仅支持覆盖写所带来的性能瓶颈。这大幅提升了 Alluxio 缓存层的写入效率。
通过 Alluxio 和 XEOS 的深度融合，可以最大限度地减少数据在两者之间的不必要移动。这提供了更高效的数据写入能力，提升了整体的写入性能，大幅降低了 Alluxio 自身的写入开销，优化了系统的资源利用效率。
XEOS 凭借其出色的数据生命周期管理和流动能力，为 Alluxio 提供了强大的支撑。在最新的 6.4 版本中，XEOS 通过开放数据流动 API 进一步增强了这些核心优势：
通过 XEOS 全面的数据流动 API，应用程序可以轻松实现跨云厂商、NAS、蓝光/磁带等不同存储介质的数据流动。Alluxio 只需下发数据流动规则，XEOS 就可以负责执行具体的数据复制、分层、归档等操作。这种深度集成大大减少了 Alluxio 在读取数据后再次写入到统一文件系统（UFS）的开销，降低了整体的数据写入开销。
同时，XEOS 还提供了复制、分层、校验、QoS 等丰富的数据管理功能。通过与 Alluxio 的紧密结合，双方可以根据实际需求，优化数据的存储和访问策略，不仅提升了数据访问性能，也大幅提高了整个数据生命周期的管理效率。
XEOS 6.4 版本在数据流动和生命周期管理方面的创新能力，为 Alluxio 构建高性能、高效、智能的 AI 数据管理平台提供了坚实的基础。
针对 AI 的优势场景：
以对象为底座且需要高性能文件访问
Alluxio 和 XEOS 的联合方案，针对尤其是在 AI 场景下，以对象存储作为底座，并且需要高性能文件协议访问的客户具备非常大的价值，包括如下四点：
Alluxio 和 XEOS 结合，可以有效综合 XEOS 的高性能对象存储接口能力以及 Alluxio 贴近计算侧的高性能共享缓存层的能力，为计算应用提供高性能数据访问能力。
XEOS 提供了海量数据存储能力，Alluxio 提供了无状态可扩展的共享缓存能力，都可以随着数据存储以及数据访问规模的增大而扩展，既能支撑海量存储又能提供高性能的大规模数据访问能力。
XEOS 作为成熟的对象存储产品，利用一系列技术实现了更加经济的海量数据存储方案，有效降低了企业的海量数据存储成本；Alluxio 则可以通过灵活的部署策略，有效利用企业计算侧的高性能存储空间提供贴近计算侧的共享缓存能力，在不增加额外硬件成本的基础上实现高性能数据访问能力的构建。
XEOS 构建了安全可靠、高性能、低成本的对象存储平台，Alluxio 基于 XEOS 提供了高效数据缓存以及数据访问平台，Alluxio 某种意义上是 XEOS 的扩展客户端，实现 1+1>2 的架构。
√
可以利用 Alluxio 的统一命名空间实现多个 XEOS 以及 XEOS 和其他文件/对象存储系统的统一访问。
√
可以利用 Alluxio+XEOS 提供更加高效的 POSIX 和 S3 协议的接口能力。
√
可以利用 Alluxio+XEOS 提供更完善的安全能力，包括和 Kerberos、Ranger 等集成。
✦
【添加小助手，了解更多活动详情】
✦
✦
【近期热门】
✦
✦
【宝典集市】
✦
本文分享自微信公众号 - Alluxio（Alluxio_China）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。