Recientemente, el sistema de caché distribuido Alluxio completó la prueba de compatibilidad con el almacenamiento de objetos XEOS V6.4 de XSKY, con el objetivo de resolver los desafíos de la gestión y aceleración de datos. Las dos partes han llevado a cabo un acoplamiento de productos en profundidad y un desarrollo conjunto, combinando el sistema de caché distribuido Alluxio con las numerosas características de aplicación del almacenamiento de objetos XEOS y lanzando una solución conjunta de almacenamiento integrado para respaldar mejor las necesidades de aceleración y gestión de datos en escenarios de IA.
En los últimos años, con la promoción y mejora gradual de la IA y los big data, especialmente la promoción generalizada de grandes modelos de IA (LLM, multimodal, Wensheng Video, etc.), el almacenamiento y el acceso a cantidades extremadamente grandes de datos se ha vuelto un problema importante al que se enfrentan las empresas: desafíos técnicos y de costos.
El almacenamiento de objetos tiene las características de buena escalabilidad, alta seguridad y costo controlable, y se ha convertido en la selección de tecnología de almacenamiento masivo de datos más popular en la actualidad. Sin embargo, el almacenamiento de objetos también enfrenta una serie de desafíos en términos de rendimiento de acceso a datos, especialmente en escenarios de entrenamiento de modelos de IA, la mejora del rendimiento de acceso a datos se ha convertido en un factor clave para mejorar la utilización de GPU. se puede combinar eficazmente con el almacenamiento de objetos y combinar Una solución todo en uno con ventajas de almacenamiento de objetos y excelente rendimiento.
Esta cooperación entre la plataforma de datos Alluxio y XEOS proporcionará a los usuarios un mayor rendimiento, menor costo y soluciones de aceleración y gestión de datos más flexibles, lo que se espera que promueva la aplicación y el desarrollo de la tecnología de IA en diversos campos.
Alluxio Enterprise AI y XEOS unen fuerzas
Alluxio Enterprise AI es una plataforma de datos para escenarios relacionados con la IA que admite el acceso, la gestión y la operación sin problemas de sus datos y cargas de trabajo de inteligencia artificial en entornos locales, de nube, híbridos o de múltiples nubes.
Capacidad de almacenamiento en caché inteligente: la plataforma Alluxio Enterprise AI lanzada por Alluxio puede proporcionar un sistema de caché distribuido de alto rendimiento, por lo que las aplicaciones informáticas como los motores de IA pueden mejorar la E/S de datos accediendo al caché de Alluxio de alto rendimiento, en lugar de utilizar objetos relativamente lentos. Almacenamiento para leer y escribir datos. Su estrategia de almacenamiento en caché inteligente se adapta a los patrones de E/S de cargas de trabajo como la IA, proporcionando un alto rendimiento y baja latencia para toda la IA y otros flujos de trabajo informáticos. Alluxio puede aumentar la utilización de la GPU a más del 90%, sincronizar datos con los ciclos de la GPU y acelerar el entrenamiento y el servicio de modelos.
No se requieren copias de datos: Alluxio carga rápidamente datos bajo demanda en lugar de copiarlos al almacenamiento local. Esto elimina el cuello de botella en el rendimiento informático causado por la carga de datos. Elimine las copias de datos y mejore el rendimiento con acceso a datos bajo demanda de alto rendimiento.
Ahorro de costos: Alluxio se puede implementar de manera flexible cerca del lado informático en función de las necesidades informáticas reales, aprovechando al máximo los recursos inactivos para proporcionar capacidades transparentes de aceleración de acceso a datos para mejorar la utilización de GPU/CPU en el lado informático y lograr un mejor rendimiento con menos costo. Efecto.
No es necesario reescribir aplicaciones: Alluxio estandariza la pila de tecnología de datos a través de un espacio de nombres unificado, proporciona un modo de acceso unificado en varios sistemas de almacenamiento y puede proporcionar varias capacidades API como S3/HDFS/POSIX/RESTful. Los desarrolladores de aplicaciones ya no necesitan pensar en dónde se almacenan los datos y pueden desacoplar la computación y el almacenamiento sin tener que reescribir las aplicaciones.
XEOS es un producto de almacenamiento de objetos de nivel empresarial lanzado por XSKY. Admite una expansión perfecta, una gestión unificada en sistemas de almacenamiento heterogéneos, acceso de alto rendimiento, gestión inteligente de datos y otras funciones, lo que ayuda a las empresas a crear fácilmente plataformas de almacenamiento de objetos seguras, confiables, de alto rendimiento y de bajo costo para satisfacer las crecientes necesidades de almacenamiento masivo. gestión de datos. .
Como solución integral de almacenamiento de objetos, XEOS es una base ideal para lagos de datos, especialmente adecuada para el almacenamiento y la gestión de datos en escenarios de IA. Como almacenamiento subyacente del lago de datos, XEOS tiene las siguientes ventajas:
Escalabilidad ilimitada: XEOS admite metadatos distribuidos y nodos de almacenamiento, y puede ampliarse fácilmente a cientos de miles de millones de capacidad de almacenamiento de objetos para satisfacer las necesidades de acumulación masiva de datos;
Acceso de alto rendimiento: los servicios de metadatos unificados, el almacenamiento en caché inteligente de múltiples niveles y otras tecnologías garantizan un rendimiento de acceso rápido a los datos y satisfacen las necesidades de diversas aplicaciones en el lago de datos;
Potentes funciones de gestión de datos: XEOS proporciona una rica gestión del ciclo de vida de los datos, clasificación del almacenamiento, compresión y otras funciones, lo que mejora eficazmente la eficiencia del almacenamiento y el rendimiento de los costes;
Excelente seguridad de los datos: XEOS utiliza mecanismos como EC, réplicas y dominios de falla, así como tecnologías como cifrado, instantáneas y papeleras de reciclaje para garantizar una alta disponibilidad y seguridad continua de los datos;
Soporte ecológico inteligente: XEOS está altamente integrado con big data, aprendizaje automático y otras aplicaciones, proporcionando herramientas gráficas, metadatos personalizados, flujo de datos y otras funciones, lo que ayuda a crear aplicaciones inteligentes de datos de un extremo a otro.
XEOS y Alluxio están profundamente integrados en
una solución conjunta que aprovecha al máximo las ventajas de ambos.
La integración de XEOS y Alluxio utiliza plenamente las capacidades de XEOS y Alluxio para lograr un mayor rendimiento, menor costo y soluciones de aceleración y gestión de datos más flexibles. Después de completar la integración básica de los dos productos, ambas partes no solo completaron la verificación de las funciones básicas, sino que también exploraron en profundidad el desarrollo combinado de Alluxio y XEOS basado en escenarios de IA.
Alluxio y XEOS han integrado y depurado interfaces de metadatos profundamente, implementaron solicitudes de datos de alto rendimiento basadas en decenas a cientos de miles de millones de objetos y admitieron millones de IOPS de alto rendimiento y baja latencia.
XEOS proporciona capacidades de servicio de metadatos distribuidos, y Alluxio proporciona capacidades de servicio y almacenamiento de metadatos escalables y sin estado, lo que garantiza una buena escalabilidad. Al mismo tiempo, Alluxio y XEOS reducen eficazmente los costos innecesarios en la integración de llamadas de interfaz relacionadas con metadatos y datos innecesarios. La transmisión mejora en gran medida el rendimiento de la interacción entre las interfaces de metadatos.
A través de la escalabilidad sin estado de Alluxio, cada nodo de Alluxio admite de forma independiente una cantidad considerable de solicitudes de metadatos y almacenamiento en caché, utilizando las capacidades de interfaz de acceso a metadatos de alto rendimiento propias de XEOS para expandir los servicios de metadatos sin sacrificar el rendimiento de las solicitudes de metadatos, especialmente bajo solicitudes de datos altamente concurrentes. Los archivos pequeños masivos no solo pueden reducir la presión de las solicitudes de metadatos altamente concurrentes en XEOS, sino que también mejoran en gran medida el rendimiento del servicio de las solicitudes de metadatos.
Alluxio y XEOS pueden aprovechar al máximo las capacidades de notificación de mensajes del conjunto de datos proporcionadas por XEOS. Cuando XEOS detecta cambios en los datos, enviará notificaciones a Alluxio en tiempo real. Alluxio puede utilizar el mecanismo de notificación de mensajes para determinar con precisión y rapidez qué datos deben almacenarse en el caché.
Este mecanismo de precalentamiento de caché basado en la notificación de mensajes puede garantizar el tiempo real y la precisión del caché de Alluxio. Sin intervención manual en la aplicación, Alluxio puede detectar automáticamente los cambios de datos, completar rápidamente las actualizaciones y la captación previa de la caché, mejorar en gran medida la puntualidad de la caché, garantizar el rendimiento del acceso a los datos y reducir en gran medida el impacto del precalentamiento en los cálculos.
Esta profunda integración no solo mejora la tasa de aciertos de la caché, sino que también minimiza el movimiento de datos innecesario, optimizando en gran medida el rendimiento general de E/S y la eficiencia de utilización de recursos. Gracias a la colaboración de Alluxio y XEOS, las aplicaciones de IA pueden obtener una excelente experiencia de acceso a datos.
Las capacidades de escritura adjunta y escritura aleatoria proporcionadas por XEOS se pueden integrar altamente con las capacidades de escritura de datos de la capa de caché Alluxio para proporcionar capacidades de escritura de datos más eficientes.
XEOS 作为 Alluxio 的持久化存储层，不仅提供了海量的存储容量，还支持丰富的写入模式，如追加写、随机写等。Alluxio 可以充分利用 XEOS 的这些写入功能来优化缓存写入功能和性能。对于需要频繁更新的热点数据，Alluxio 可以直接以追加写或随机写的方式将数据写入 XEOS，避免了传统对象存储仅支持覆盖写所带来的性能瓶颈。这大幅提升了 Alluxio 缓存层的写入效率。
通过 Alluxio 和 XEOS 的深度融合，可以最大限度地减少数据在两者之间的不必要移动。这提供了更高效的数据写入能力，提升了整体的写入性能，大幅降低了 Alluxio 自身的写入开销，优化了系统的资源利用效率。
XEOS 凭借其出色的数据生命周期管理和流动能力，为 Alluxio 提供了强大的支撑。在最新的 6.4 版本中，XEOS 通过开放数据流动 API 进一步增强了这些核心优势：
通过 XEOS 全面的数据流动 API，应用程序可以轻松实现跨云厂商、NAS、蓝光/磁带等不同存储介质的数据流动。Alluxio 只需下发数据流动规则，XEOS 就可以负责执行具体的数据复制、分层、归档等操作。这种深度集成大大减少了 Alluxio 在读取数据后再次写入到统一文件系统（UFS）的开销，降低了整体的数据写入开销。
同时，XEOS 还提供了复制、分层、校验、QoS 等丰富的数据管理功能。通过与 Alluxio 的紧密结合，双方可以根据实际需求，优化数据的存储和访问策略，不仅提升了数据访问性能，也大幅提高了整个数据生命周期的管理效率。
XEOS 6.4 版本在数据流动和生命周期管理方面的创新能力，为 Alluxio 构建高性能、高效、智能的 AI 数据管理平台提供了坚实的基础。
针对 AI 的优势场景：
以对象为底座且需要高性能文件访问
Alluxio 和 XEOS 的联合方案，针对尤其是在 AI 场景下，以对象存储作为底座，并且需要高性能文件协议访问的客户具备非常大的价值，包括如下四点：
Alluxio 和 XEOS 结合，可以有效综合 XEOS 的高性能对象存储接口能力以及 Alluxio 贴近计算侧的高性能共享缓存层的能力，为计算应用提供高性能数据访问能力。
XEOS 提供了海量数据存储能力，Alluxio 提供了无状态可扩展的共享缓存能力，都可以随着数据存储以及数据访问规模的增大而扩展，既能支撑海量存储又能提供高性能的大规模数据访问能力。
XEOS 作为成熟的对象存储产品，利用一系列技术实现了更加经济的海量数据存储方案，有效降低了企业的海量数据存储成本；Alluxio 则可以通过灵活的部署策略，有效利用企业计算侧的高性能存储空间提供贴近计算侧的共享缓存能力，在不增加额外硬件成本的基础上实现高性能数据访问能力的构建。
XEOS 构建了安全可靠、高性能、低成本的对象存储平台，Alluxio 基于 XEOS 提供了高效数据缓存以及数据访问平台，Alluxio 某种意义上是 XEOS 的扩展客户端，实现 1+1>2 的架构。
√
可以利用 Alluxio 的统一命名空间实现多个 XEOS 以及 XEOS 和其他文件/对象存储系统的统一访问。
√
可以利用 Alluxio+XEOS 提供更加高效的 POSIX 和 S3 协议的接口能力。
√
可以利用 Alluxio+XEOS 提供更完善的安全能力，包括和 Kerberos、Ranger 等集成。
✦
【添加小助手，了解更多活动详情】
✦
✦
【近期热门】
✦
✦
【宝典集市】
✦
本文分享自微信公众号 - Alluxio（Alluxio_China）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。