Recentemente, o sistema de cache distribuído Alluxio concluiu o teste de compatibilidade com o armazenamento de objetos XEOS V6.4 da XSKY, visando solucionar os desafios de gerenciamento e aceleração de dados. As duas partes conduziram um acoplamento aprofundado de produtos e desenvolvimento conjunto, combinando o sistema de cache distribuído Alluxio com os muitos recursos de aplicação do armazenamento de objetos XEOS e lançando uma solução conjunta de armazenamento integrado para melhor suportar o gerenciamento de dados e as necessidades de aceleração em cenários de IA.
Nos últimos anos, com a promoção e melhoria gradual da IA e do big data, especialmente a promoção generalizada de grandes modelos de IA (LLM, multimodal, Wensheng Video, etc.), o armazenamento e o acesso de quantidades extremamente grandes de dados tornaram-se um grande problema enfrentado pelas empresas.
O armazenamento de objetos tem características de boa escalabilidade, alta segurança e custo controlável, e se tornou a seleção de tecnologia de armazenamento de dados em massa mais popular atualmente. No entanto, o armazenamento de objetos também enfrenta uma série de desafios em termos de desempenho de acesso a dados. Especialmente em cenários de treinamento de modelos de IA, o aprimoramento do desempenho de acesso a dados tornou-se um fator chave para melhorar a utilização da GPU. pode combinar efetivamente com armazenamento de objetos e combinar Uma solução completa com vantagens de armazenamento de objetos e excelente desempenho.
Esta cooperação entre a plataforma de dados Alluxio e o XEOS proporcionará aos usuários soluções de maior desempenho, menor custo e gerenciamento de dados e aceleração mais flexíveis, o que deverá promover a aplicação e o desenvolvimento da tecnologia de IA em diversos campos.
Alluxio Enterprise AI e XEOS unem forças
Alluxio Enterprise AI é uma plataforma de dados para cenários relacionados à IA que suporta acesso, gerenciamento e operação contínuos de seus dados e cargas de trabalho de inteligência artificial em ambientes locais, de nuvem, híbridos ou multinuvem.
Capacidade de cache inteligente: A plataforma Alluxio Enterprise AI lançada pela Alluxio pode fornecer um sistema de cache distribuído de alto desempenho, para que aplicativos de computação, como mecanismos de IA, possam melhorar a E/S de dados acessando o cache Alluxio de alto desempenho, em vez de usar objetos relativamente lentos. armazenamento para ler e gravar dados. Sua estratégia de cache inteligente é adaptada aos padrões de E/S de cargas de trabalho como IA, fornecendo alto rendimento e baixa latência para toda a IA e outros fluxos de trabalho de computação. Alluxio pode aumentar a utilização da GPU em mais de 90%, sincronizar dados com ciclos de GPU e acelerar o treinamento e serviço de modelos.
Não são necessárias cópias de dados: o Alluxio carrega rapidamente os dados sob demanda, em vez de copiá-los para armazenamento local. Isso elimina o gargalo no desempenho da computação causado pelo carregamento de dados. Elimine cópias de dados e melhore o desempenho com acesso a dados sob demanda e de alto desempenho.
Economia de custos: O Alluxio pode ser implantado de forma flexível próximo ao lado da computação com base nas necessidades reais de computação, fazendo uso total dos recursos ociosos para fornecer capacidades transparentes de aceleração de acesso a dados para melhorar a utilização da GPU/CPU no lado da computação e alcançar melhor desempenho com menos custos. Efeito.
Não há necessidade de reescrever aplicativos: Alluxio padroniza a pilha de tecnologia de dados através de um namespace unificado, fornece um modo de acesso unificado em vários sistemas de armazenamento e pode fornecer vários recursos de API, como S3/HDFS/POSIX/RESTful. Os desenvolvedores de aplicativos não precisam mais pensar onde os dados são armazenados e podem dissociar computação e armazenamento sem precisar reescrever os aplicativos.
XEOS é um produto de armazenamento de objetos de nível empresarial lançado pela XSKY. Ele suporta expansão contínua, gerenciamento unificado em sistemas de armazenamento heterogêneos, acesso de alto desempenho, gerenciamento inteligente de dados e outras funções, ajudando as empresas a construir facilmente plataformas de armazenamento de objetos seguras, confiáveis, de alto desempenho e baixo custo para atender às crescentes necessidades de armazenamento massivo. gestão de dados. .
Como uma solução abrangente de armazenamento de objetos, o XEOS é uma base ideal para data lakes, especialmente adequado para armazenamento e gerenciamento de dados em cenários de IA. Como armazenamento subjacente do data lake, o XEOS tem as seguintes vantagens:
Escalabilidade ilimitada: o XEOS suporta metadados distribuídos e nós de armazenamento e pode ser facilmente expandido para centenas de bilhões de capacidade de armazenamento de objetos para atender às necessidades de acumulação massiva de dados;
Acesso de alto desempenho: serviços unificados de metadados, cache multinível inteligente e outras tecnologias garantem desempenho rápido de acesso aos dados e atendem às necessidades de vários aplicativos no data lake;
Funções poderosas de gerenciamento de dados: o XEOS fornece gerenciamento rico do ciclo de vida dos dados, classificação de armazenamento, compactação e outras funções, melhorando efetivamente a eficiência do armazenamento e o desempenho de custos;
Excelente segurança de dados: o XEOS utiliza mecanismos como EC, réplicas e domínios de falha, bem como tecnologias como criptografia, instantâneos e lixeiras para garantir alta disponibilidade e segurança contínuas dos dados;
Suporte ecológico inteligente: o XEOS é altamente integrado com big data, aprendizado de máquina e outros aplicativos, fornecendo ferramentas gráficas, metadados personalizados, fluxo de dados e outras funções, ajudando a construir aplicativos inteligentes de dados de ponta a ponta.
XEOS e Alluxio estão profundamente integrados em
uma solução conjunta que utiliza plenamente as vantagens de ambos.
A integração do XEOS e do Alluxio utiliza totalmente os recursos do XEOS e do Alluxio para alcançar maior desempenho, menor custo e soluções de aceleração e gerenciamento de dados mais flexíveis. Depois de concluir a integração básica dos dois produtos, ambas as partes não apenas concluíram a verificação das funções básicas, mas também exploraram em profundidade o desenvolvimento combinado do Alluxio e do XEOS com base em cenários de IA.
Alluxio e XEOS integraram e depuraram interfaces de metadados profundamente, implementaram solicitações de dados de alto desempenho baseadas em dezenas a centenas de bilhões de objetos e suportaram milhões de IOPS de alto desempenho e baixa latência.
O XEOS fornece recursos de serviço de metadados distribuídos e o Alluxio fornece armazenamento de metadados escaláveis e sem estado e recursos de serviço, ambos garantindo boa escalabilidade. Ao mesmo tempo, Alluxio e XEOS reduzem efetivamente custos desnecessários na integração de chamadas de interface relacionadas a metadados e dados desnecessários. a transmissão melhora muito o desempenho da interação entre interfaces de metadados.
Através da escalabilidade sem estado do Alluxio, cada nó Alluxio suporta independentemente uma quantidade considerável de solicitações de metadados e cache, usando os próprios recursos de interface de acesso a metadados de alto desempenho do XEOS para expandir os serviços de metadados sem sacrificar o desempenho da solicitação de metadados, especialmente sob altas solicitações de dados simultâneas. arquivos pequenos e massivos podem não apenas reduzir a pressão de altas solicitações simultâneas de metadados no XEOS, mas também melhorar significativamente o desempenho do serviço de solicitações de metadados.
Alluxio e XEOS podem fazer uso total dos recursos de notificação de mensagens de conjunto de dados fornecidos pelo XEOS. Quando o XEOS detecta alterações nos dados, ele enviará notificações ao Alluxio em tempo real. Alluxio pode usar o mecanismo de notificação de mensagens para determinar com precisão e rapidez quais dados precisam ser aquecidos no cache.
Este mecanismo de pré-aquecimento do cache baseado na notificação de mensagens pode garantir o tempo real e a precisão do cache Alluxio. Sem intervenção manual na aplicação, o Alluxio pode detectar automaticamente alterações nos dados, concluir rapidamente as atualizações e pré-busca do cache, melhorar significativamente a pontualidade do cache, garantir o desempenho do acesso aos dados e reduzir significativamente o impacto do pré-aquecimento nos cálculos.
Essa integração profunda não apenas melhora a taxa de acertos do cache, mas também minimiza a movimentação desnecessária de dados, otimizando bastante o desempenho geral de E/S e a eficiência de utilização de recursos. Através da colaboração do Alluxio e do XEOS, as aplicações de IA podem obter uma excelente experiência de acesso a dados.
Os recursos de gravação de anexos e gravação aleatória fornecidos pelo XEOS podem ser altamente integrados aos recursos de gravação de dados da camada de cache Alluxio para fornecer recursos de gravação de dados mais eficientes.
XEOS 作为 Alluxio 的持久化存储层，不仅提供了海量的存储容量，还支持丰富的写入模式，如追加写、随机写等。Alluxio 可以充分利用 XEOS 的这些写入功能来优化缓存写入功能和性能。对于需要频繁更新的热点数据，Alluxio 可以直接以追加写或随机写的方式将数据写入 XEOS，避免了传统对象存储仅支持覆盖写所带来的性能瓶颈。这大幅提升了 Alluxio 缓存层的写入效率。
通过 Alluxio 和 XEOS 的深度融合，可以最大限度地减少数据在两者之间的不必要移动。这提供了更高效的数据写入能力，提升了整体的写入性能，大幅降低了 Alluxio 自身的写入开销，优化了系统的资源利用效率。
XEOS 凭借其出色的数据生命周期管理和流动能力，为 Alluxio 提供了强大的支撑。在最新的 6.4 版本中，XEOS 通过开放数据流动 API 进一步增强了这些核心优势：
通过 XEOS 全面的数据流动 API，应用程序可以轻松实现跨云厂商、NAS、蓝光/磁带等不同存储介质的数据流动。Alluxio 只需下发数据流动规则，XEOS 就可以负责执行具体的数据复制、分层、归档等操作。这种深度集成大大减少了 Alluxio 在读取数据后再次写入到统一文件系统（UFS）的开销，降低了整体的数据写入开销。
同时，XEOS 还提供了复制、分层、校验、QoS 等丰富的数据管理功能。通过与 Alluxio 的紧密结合，双方可以根据实际需求，优化数据的存储和访问策略，不仅提升了数据访问性能，也大幅提高了整个数据生命周期的管理效率。
XEOS 6.4 版本在数据流动和生命周期管理方面的创新能力，为 Alluxio 构建高性能、高效、智能的 AI 数据管理平台提供了坚实的基础。
针对 AI 的优势场景：
以对象为底座且需要高性能文件访问
Alluxio 和 XEOS 的联合方案，针对尤其是在 AI 场景下，以对象存储作为底座，并且需要高性能文件协议访问的客户具备非常大的价值，包括如下四点：
Alluxio 和 XEOS 结合，可以有效综合 XEOS 的高性能对象存储接口能力以及 Alluxio 贴近计算侧的高性能共享缓存层的能力，为计算应用提供高性能数据访问能力。
XEOS 提供了海量数据存储能力，Alluxio 提供了无状态可扩展的共享缓存能力，都可以随着数据存储以及数据访问规模的增大而扩展，既能支撑海量存储又能提供高性能的大规模数据访问能力。
XEOS 作为成熟的对象存储产品，利用一系列技术实现了更加经济的海量数据存储方案，有效降低了企业的海量数据存储成本；Alluxio 则可以通过灵活的部署策略，有效利用企业计算侧的高性能存储空间提供贴近计算侧的共享缓存能力，在不增加额外硬件成本的基础上实现高性能数据访问能力的构建。
XEOS 构建了安全可靠、高性能、低成本的对象存储平台，Alluxio 基于 XEOS 提供了高效数据缓存以及数据访问平台，Alluxio 某种意义上是 XEOS 的扩展客户端，实现 1+1>2 的架构。
√
可以利用 Alluxio 的统一命名空间实现多个 XEOS 以及 XEOS 和其他文件/对象存储系统的统一访问。
√
可以利用 Alluxio+XEOS 提供更加高效的 POSIX 和 S3 协议的接口能力。
√
可以利用 Alluxio+XEOS 提供更完善的安全能力，包括和 Kerberos、Ranger 等集成。
✦
【添加小助手，了解更多活动详情】
✦
✦
【近期热门】
✦
✦
【宝典集市】
✦
本文分享自微信公众号 - Alluxio（Alluxio_China）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。