최근 Alluxio 분산 캐시 시스템은 데이터 관리 및 가속화 문제를 해결하기 위해 XSKY의 XEOS V6.4 객체 스토리지와의 호환성 테스트를 완료했습니다. 두 당사자는 Alluxio 분산 캐시 시스템과 XEOS 객체 스토리지의 다양한 애플리케이션 기능을 결합하고 AI 시나리오에서 데이터 관리 및 가속화 요구 사항을 더 잘 지원하기 위한 통합 스토리지 공동 솔루션을 출시하는 등 심층적인 제품 도킹 및 공동 개발을 수행했습니다.
최근 몇 년 동안 AI와 빅데이터의 점진적인 홍보 및 개선, 특히 대규모 AI 모델(LLM, 멀티모달, Wensheng Video 등)의 광범위한 홍보로 인해 매우 많은 양의 데이터 저장 및 액세스가 가능해졌습니다. 기업이 직면한 주요 문제는 기술 및 비용 문제입니다.
객체 스토리지는 우수한 확장성, 높은 보안, 제어 가능한 비용이라는 특징을 갖고 있으며 현재 가장 인기 있는 대용량 데이터 스토리지 기술이 되었습니다. 그러나 객체 스토리지 역시 데이터 액세스 성능 측면에서 일련의 과제에 직면해 있습니다. 특히 AI 모델 훈련 시나리오에서 데이터 액세스 성능 향상은 GPU 활용도를 향상시키는 핵심 요소가 되었습니다. 객체 스토리지와 효과적으로 결합할 수 있으며, 객체 스토리지의 장점과 뛰어난 성능을 갖춘 올인원 솔루션입니다.
Alluxio 데이터 플랫폼과 XEOS의 이번 협력은 사용자에게 더 높은 성능, 더 낮은 비용, 더 유연한 데이터 관리 및 가속 솔루션을 제공하여 다양한 분야에서 AI 기술의 적용 및 개발을 촉진할 것으로 예상됩니다.
Alluxio Enterprise AI와 XEOS가 힘을 합치다
Alluxio Enterprise AI는 로컬, 클라우드, 하이브리드 또는 멀티 클라우드 환경에서 데이터와 인공 지능 워크로드의 원활한 액세스, 관리 및 운영을 지원하는 AI 관련 시나리오를 위한 데이터 플랫폼입니다.
지능형 캐싱 기능: Alluxio가 출시한 Alluxio Enterprise AI 플랫폼은 고성능 분산 캐시 시스템을 제공할 수 있으므로 AI 엔진과 같은 컴퓨팅 애플리케이션은 상대적으로 느린 개체를 사용하는 대신 고성능 Alluxio 캐시에 액세스하여 데이터 I/O를 향상시킬 수 있습니다. 데이터를 읽고 쓰기 위한 저장소. 지능형 캐싱 전략은 AI와 같은 워크로드의 I/O 패턴에 맞게 조정되어 전체 AI 및 기타 컴퓨팅 워크플로우에 대해 높은 처리량과 짧은 대기 시간을 제공합니다. Alluxio는 GPU 활용도를 90% 이상으로 높이고, GPU 주기와 데이터를 동기화하며, 모델 훈련 및 모델 제공을 가속화할 수 있습니다.
데이터 복사본이 필요하지 않습니다. Alluxio는 데이터를 로컬 스토리지에 복사하는 대신 요청에 따라 신속하게 로드합니다. 이는 데이터 로딩으로 인해 발생하는 컴퓨팅 성능의 병목 현상을 제거합니다. 고성능, 주문형 데이터 액세스를 통해 데이터 복사본을 제거하고 성능을 향상시킵니다.
비용 절감: Alluxio는 실제 컴퓨팅 요구 사항에 따라 컴퓨팅 측면에 유연하게 배포할 수 있으며, 유휴 리소스를 최대한 활용하여 투명한 데이터 액세스 가속 기능을 제공하여 컴퓨팅 측면에서 GPU/CPU 활용도를 향상시키고 더 적은 비용으로 더 나은 성능을 달성할 수 있습니다. 효과.
애플리케이션 재작성 필요 없음: Alluxio는 통합 네임스페이스를 통해 데이터 기술 스택을 표준화하고, 다양한 스토리지 시스템에 걸쳐 통합 액세스 모드를 제공하며, S3/HDFS/POSIX/RESTful과 같은 다양한 API 기능을 제공할 수 있습니다. 애플리케이션 개발자는 더 이상 데이터가 저장되는 위치를 생각할 필요가 없으며 애플리케이션을 다시 작성하지 않고도 컴퓨팅과 스토리지를 분리할 수 있습니다.
XEOS는 XSKY가 출시한 엔터프라이즈급 객체 스토리지 제품입니다. 원활한 확장, 이기종 스토리지 시스템 전반의 통합 관리, 고성능 액세스, 지능형 데이터 관리 및 기타 기능을 지원하여 기업이 안전하고 신뢰할 수 있는 고성능 저비용 개체 스토리지 플랫폼을 쉽게 구축하여 대규모 스토리지 시스템에 대한 증가하는 요구 사항을 충족할 수 있도록 지원합니다. 데이터 관리. .
포괄적인 객체 스토리지 솔루션인 XEOS는 데이터 레이크를 위한 이상적인 기반이며, 특히 AI 시나리오의 데이터 저장 및 관리에 적합합니다. 데이터 레이크의 기본 스토리지로서 XEOS는 다음과 같은 장점을 가지고 있습니다.
무제한 확장성: XEOS는 분산된 메타데이터 및 스토리지 노드를 지원하며 대규모 데이터 축적 요구 사항을 충족하기 위해 수천억 개의 개체 스토리지 용량으로 쉽게 확장할 수 있습니다.
고성능 액세스: 통합 메타데이터 서비스, 지능형 다단계 캐싱 및 기타 기술은 빠른 데이터 액세스 성능을 보장하고 데이터 레이크의 다양한 애플리케이션 요구 사항을 충족합니다.
강력한 데이터 관리 기능: XEOS는 풍부한 데이터 수명주기 관리, 스토리지 분류, 압축 및 기타 기능을 제공하여 스토리지 효율성과 비용 성능을 효과적으로 향상시킵니다.
뛰어난 데이터 보안: XEOS는 EC, 복제본, 장애 도메인과 같은 메커니즘과 암호화, 스냅샷, 휴지통과 같은 기술을 사용하여 데이터의 지속적인 고가용성과 보안을 보장합니다.
지능형 생태학적 지원: XEOS는 빅 데이터, 기계 학습 및 기타 애플리케이션과 고도로 통합되어 그래픽 도구, 맞춤형 메타데이터, 데이터 흐름 및 기타 기능을 제공하여 엔드투엔드 데이터 지능형 애플리케이션을 구축하는 데 도움을 줍니다.
XEOS와 Alluxio는
두 가지 장점을 모두 활용하는 공동 솔루션에 깊이 통합되어 있습니다.
XEOS와 Alluxio의 통합은 XEOS와 Alluxio의 기능을 완전히 활용하여 더 높은 성능, 더 낮은 비용, 더 유연한 데이터 관리 및 가속화 솔루션을 달성합니다. 양사는 두 제품의 기본 통합을 완료한 후 기본 기능 검증을 완료했을 뿐만 아니라 AI 시나리오를 기반으로 Alluxio와 XEOS의 심층적인 결합 개발을 모색했습니다.
Alluxio와 XEOS는 긴밀하게 통합 및 디버깅된 메타데이터 인터페이스를 갖추고 있으며, 수백억에서 수천억 개의 개체를 기반으로 고성능 데이터 요청을 구현하고, 수백만 개의 고성능 및 저지연 IOPS를 지원합니다.
XEOS는 분산 메타데이터 서비스 기능을 제공하고, Alluxio는 상태 비저장 및 확장 가능한 메타데이터 스토리지 및 서비스 기능을 제공하여 우수한 확장성을 보장하는 동시에 Alluxio와 XEOS는 메타데이터 관련 인터페이스 호출 및 불필요한 데이터의 통합에 따른 불필요한 비용을 효과적으로 줄입니다. 전송은 메타데이터 인터페이스 간의 상호 작용 성능을 크게 향상시킵니다.
Alluxio의 상태 비저장 확장성을 통해 각 Alluxio 노드는 XEOS 고유의 고성능 메타데이터 액세스 인터페이스 기능을 사용하여 특히 높은 동시 데이터 요청에서 메타데이터 요청 성능을 저하하지 않고 메타데이터 서비스를 확장하는 등 상당한 양의 메타데이터 요청 및 캐싱을 독립적으로 지원합니다. 대규모의 작은 파일은 XEOS에 대한 높은 동시 메타데이터 요청의 부담을 줄일 수 있을 뿐만 아니라 메타데이터 요청의 서비스 성능을 크게 향상시킬 수 있습니다.
Alluxio와 XEOS는 XEOS가 제공하는 데이터 세트 메시지 알림 기능을 최대한 활용할 수 있습니다. XEOS는 데이터 변경을 감지하면 실시간으로 Alluxio에 알림을 푸시합니다. Alluxio는 메시지 알림 메커니즘을 사용하여 캐시에 워밍업해야 할 데이터를 정확하고 신속하게 결정할 수 있습니다.
메시지 알림을 기반으로 한 캐시 예열 메커니즘은 Alluxio 캐시의 실시간 및 정확성을 보장할 수 있습니다. 애플리케이션에 대한 수동 개입 없이 Alluxio는 자동으로 데이터 변경 사항을 감지하고, 캐시 업데이트 및 프리페칭을 신속하게 완료하고, 캐시 적시성을 크게 개선하고, 데이터 액세스 성능을 보장하고, 예열이 계산에 미치는 영향을 크게 줄일 수 있습니다.
이러한 심층적인 통합은 캐시 적중률을 향상시킬 뿐만 아니라 불필요한 데이터 이동을 최소화하여 전체 I/O 성능 및 리소스 활용 효율성을 크게 최적화합니다. Alluxio와 XEOS의 협력을 통해 AI 애플리케이션은 뛰어난 데이터 액세스 경험을 얻을 수 있습니다.
XEOS가 제공하는 추가 쓰기 및 랜덤 쓰기 기능은 Alluxio 캐시 레이어의 데이터 쓰기 기능과 고도로 통합되어 보다 효율적인 데이터 쓰기 기능을 제공할 수 있습니다.
XEOS 作为 Alluxio 的持久化存储层，不仅提供了海量的存储容量，还支持丰富的写入模式，如追加写、随机写等。Alluxio 可以充分利用 XEOS 的这些写入功能来优化缓存写入功能和性能。对于需要频繁更新的热点数据，Alluxio 可以直接以追加写或随机写的方式将数据写入 XEOS，避免了传统对象存储仅支持覆盖写所带来的性能瓶颈。这大幅提升了 Alluxio 缓存层的写入效率。
通过 Alluxio 和 XEOS 的深度融合，可以最大限度地减少数据在两者之间的不必要移动。这提供了更高效的数据写入能力，提升了整体的写入性能，大幅降低了 Alluxio 自身的写入开销，优化了系统的资源利用效率。
XEOS 凭借其出色的数据生命周期管理和流动能力，为 Alluxio 提供了强大的支撑。在最新的 6.4 版本中，XEOS 通过开放数据流动 API 进一步增强了这些核心优势：
通过 XEOS 全面的数据流动 API，应用程序可以轻松实现跨云厂商、NAS、蓝光/磁带等不同存储介质的数据流动。Alluxio 只需下发数据流动规则，XEOS 就可以负责执行具体的数据复制、分层、归档等操作。这种深度集成大大减少了 Alluxio 在读取数据后再次写入到统一文件系统（UFS）的开销，降低了整体的数据写入开销。
同时，XEOS 还提供了复制、分层、校验、QoS 等丰富的数据管理功能。通过与 Alluxio 的紧密结合，双方可以根据实际需求，优化数据的存储和访问策略，不仅提升了数据访问性能，也大幅提高了整个数据生命周期的管理效率。
XEOS 6.4 版本在数据流动和生命周期管理方面的创新能力，为 Alluxio 构建高性能、高效、智能的 AI 数据管理平台提供了坚实的基础。
针对 AI 的优势场景：
以对象为底座且需要高性能文件访问
Alluxio 和 XEOS 的联合方案，针对尤其是在 AI 场景下，以对象存储作为底座，并且需要高性能文件协议访问的客户具备非常大的价值，包括如下四点：
Alluxio 和 XEOS 结合，可以有效综合 XEOS 的高性能对象存储接口能力以及 Alluxio 贴近计算侧的高性能共享缓存层的能力，为计算应用提供高性能数据访问能力。
XEOS 提供了海量数据存储能力，Alluxio 提供了无状态可扩展的共享缓存能力，都可以随着数据存储以及数据访问规模的增大而扩展，既能支撑海量存储又能提供高性能的大规模数据访问能力。
XEOS 作为成熟的对象存储产品，利用一系列技术实现了更加经济的海量数据存储方案，有效降低了企业的海量数据存储成本；Alluxio 则可以通过灵活的部署策略，有效利用企业计算侧的高性能存储空间提供贴近计算侧的共享缓存能力，在不增加额外硬件成本的基础上实现高性能数据访问能力的构建。
XEOS 构建了安全可靠、高性能、低成本的对象存储平台，Alluxio 基于 XEOS 提供了高效数据缓存以及数据访问平台，Alluxio 某种意义上是 XEOS 的扩展客户端，实现 1+1>2 的架构。
√
可以利用 Alluxio 的统一命名空间实现多个 XEOS 以及 XEOS 和其他文件/对象存储系统的统一访问。
√
可以利用 Alluxio+XEOS 提供更加高效的 POSIX 和 S3 协议的接口能力。
√
可以利用 Alluxio+XEOS 提供更完善的安全能力，包括和 Kerberos、Ranger 等集成。
✦
【添加小助手，了解更多活动详情】
✦
✦
【近期热门】
✦
✦
【宝典集市】
✦
本文分享自微信公众号 - Alluxio（Alluxio_China）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。