Kürzlich hat das verteilte Cache-System Alluxio den Kompatibilitätstest mit dem XEOS V6.4-Objektspeicher von XSKY abgeschlossen, um die Herausforderungen der Datenverwaltung und -beschleunigung zu lösen. Die beiden Parteien haben ein umfassendes Produkt-Docking und eine gemeinsame Entwicklung durchgeführt, das verteilte Cache-System Alluxio mit den zahlreichen Anwendungsfunktionen des XEOS-Objektspeichers kombiniert und eine gemeinsame integrierte Speicherlösung auf den Markt gebracht, um die Datenverwaltungs- und Beschleunigungsanforderungen in KI-Szenarien besser zu unterstützen.
In den letzten Jahren hat sich mit der schrittweisen Förderung und Verbesserung von KI und Big Data, insbesondere der weit verbreiteten Förderung großer KI-Modelle (LLM, Multimodal, Wensheng Video usw.), die Speicherung und der Zugriff auf extrem große Datenmengen entwickelt ein großes Problem für Unternehmen.
Objektspeicher zeichnet sich durch gute Skalierbarkeit, hohe Sicherheit und kontrollierbare Kosten aus und ist derzeit die beliebteste Auswahl an Massendatenspeichertechnologien. Allerdings steht die Objektspeicherung auch hinsichtlich der Datenzugriffsleistung vor einer Reihe von Herausforderungen. Insbesondere in KI-Modell-Trainingsszenarien ist die Verbesserung der Datenzugriffsleistung zu einem Schlüsselfaktor für die Verbesserung der GPU-Auslastung geworden Kann effektiv mit Objektspeicher kombiniert werden und kombiniert eine All-in-One-Lösung mit Objektspeichervorteilen und hervorragender Leistung.
Diese Zusammenarbeit zwischen der Datenplattform Alluxio und XEOS wird Benutzern eine höhere Leistung, geringere Kosten und flexiblere Datenverwaltungs- und Beschleunigungslösungen bieten, was voraussichtlich die Anwendung und Entwicklung der KI-Technologie in verschiedenen Bereichen fördern wird.
Alluxio Enterprise AI und XEOS bündeln ihre Kräfte
Alluxio Enterprise AI ist eine Datenplattform für KI-bezogene Szenarien, die den nahtlosen Zugriff, die Verwaltung und den Betrieb Ihrer Daten und Workloads mit künstlicher Intelligenz in lokalen, Cloud-, Hybrid- oder Multi-Cloud-Umgebungen unterstützt.
Intelligente Caching-Fähigkeit: Die von Alluxio eingeführte KI-Plattform Alluxio Enterprise kann ein leistungsstarkes verteiltes Cache-System bereitstellen, sodass Computeranwendungen wie KI-Engines die Daten-I/O verbessern können, indem sie auf den leistungsstarken Alluxio-Cache zugreifen, anstatt relativ langsame Objekte zu verwenden Speicher zum Lesen und Schreiben von Daten. Seine intelligente Caching-Strategie ist auf die I/O-Muster von Arbeitslasten wie KI zugeschnitten und sorgt für einen hohen Durchsatz und eine geringe Latenz für die gesamte KI und andere Computer-Workflows. Alluxio kann die GPU-Auslastung auf über 90 % steigern, Daten mit GPU-Zyklen synchronisieren und das Modelltraining und die Modellbereitstellung beschleunigen.
Keine Datenkopien erforderlich: Alluxio lädt Daten bei Bedarf schnell, anstatt sie in den lokalen Speicher zu kopieren. Dadurch wird der durch das Laden von Daten verursachte Engpass bei der Rechenleistung beseitigt. Eliminieren Sie Datenkopien und verbessern Sie die Leistung durch leistungsstarken On-Demand-Datenzugriff.
Kosteneinsparungen: Alluxio kann je nach tatsächlichem Rechenbedarf flexibel nahe an der Rechenseite eingesetzt werden und ungenutzte Ressourcen voll ausnutzen, um transparente Funktionen zur Beschleunigung des Datenzugriffs bereitzustellen, um die GPU-/CPU-Auslastung auf der Rechenseite zu verbessern und eine bessere Leistung bei geringeren Kosten zu erzielen. Wirkung.
Anwendungen müssen nicht neu geschrieben werden: Alluxio standardisiert den Datentechnologie-Stack durch einen einheitlichen Namespace, bietet einen einheitlichen Zugriffsmodus über verschiedene Speichersysteme hinweg und kann verschiedene API-Funktionen wie S3/HDFS/POSIX/RESTful bereitstellen. Anwendungsentwickler müssen sich keine Gedanken mehr darüber machen, wo Daten gespeichert werden, und können Rechenleistung und Speicher entkoppeln, ohne Anwendungen neu schreiben zu müssen.
XEOS ist ein von XSKY eingeführtes Objektspeicherprodukt auf Unternehmensebene. Es unterstützt nahtlose Erweiterung, einheitliches Management über heterogene Speichersysteme hinweg, leistungsstarken Zugriff, intelligentes Datenmanagement und andere Funktionen und hilft Unternehmen dabei, auf einfache Weise sichere, zuverlässige, leistungsstarke und kostengünstige Objektspeicherplattformen aufzubauen, um den wachsenden Bedarf an Massenspeichern zu decken Datenmanagement. .
Als umfassende Objektspeicherlösung ist XEOS eine ideale Basis für Data Lakes, besonders geeignet für die Datenspeicherung und -verwaltung in KI-Szenarien. Als zugrundeliegender Speicher des Data Lake bietet XEOS die folgenden Vorteile:
Unbegrenzte Skalierbarkeit: XEOS unterstützt verteilte Metadaten und Speicherknoten und kann problemlos auf Hunderte Milliarden Objektspeicherkapazitäten erweitert werden, um den Anforderungen einer massiven Datenansammlung gerecht zu werden.
Hochleistungszugriff: Einheitliche Metadatendienste, intelligentes mehrstufiges Caching und andere Technologien sorgen für eine schnelle Datenzugriffsleistung und erfüllen die Anforderungen verschiedener Anwendungen im Data Lake;
Leistungsstarke Datenverwaltungsfunktionen: XEOS bietet umfassende Datenlebenszyklusverwaltung, Speicherklassifizierung, Komprimierung und andere Funktionen, wodurch die Speichereffizienz und die Kostenleistung effektiv verbessert werden.
Hervorragende Datensicherheit: XEOS nutzt Mechanismen wie EC, Replikate und Fehlerdomänen sowie Technologien wie Verschlüsselung, Snapshots und Papierkörbe, um eine kontinuierlich hohe Verfügbarkeit und Sicherheit der Daten zu gewährleisten;
Intelligente ökologische Unterstützung: XEOS ist hochgradig in Big Data, maschinelles Lernen und andere Anwendungen integriert, bietet grafische Tools, benutzerdefinierte Metadaten, Datenfluss und andere Funktionen und hilft beim Aufbau intelligenter End-to-End-Datenanwendungen.
XEOS und Alluxio sind tief in
eine gemeinsame Lösung integriert, die die Vorteile beider voll ausnutzt.
Durch die Integration von XEOS und Alluxio werden die Fähigkeiten von XEOS und Alluxio vollständig genutzt, um eine höhere Leistung, geringere Kosten und flexiblere Datenverwaltungs- und Beschleunigungslösungen zu erzielen. Nach Abschluss der grundlegenden Integration der beiden Produkte schlossen beide Parteien nicht nur die Überprüfung der Grundfunktionen ab, sondern untersuchten auch die umfassende kombinierte Entwicklung von Alluxio und XEOS auf der Grundlage von KI-Szenarien.
Alluxio und
XEOS bietet verteilte Metadatendienstfunktionen und Alluxio bietet zustandslose und skalierbare Metadatenspeicher- und -dienstfunktionen, die beide eine gute Skalierbarkeit gewährleisten. Gleichzeitig reduzieren Alluxio und XEOS effektiv unnötige Kosten bei der Integration metadatenbezogener Schnittstellenaufrufe und unnötiger Daten Die Übertragung verbessert die Interaktionsleistung zwischen Metadatenschnittstellen erheblich.
Durch die zustandslose Skalierbarkeit von Alluxio unterstützt jeder Alluxio-Knoten unabhängig eine beträchtliche Menge an Metadatenanfragen und Caching und nutzt die leistungsstarken Metadatenzugriffsschnittstellenfunktionen von XEOS, um Metadatendienste zu erweitern, ohne die Leistung der Metadatenanfragen zu beeinträchtigen, insbesondere bei hohen gleichzeitigen Datenanfragen Riesige kleine Dateien können nicht nur den Druck hoher gleichzeitiger Metadatenanforderungen auf XEOS verringern, sondern auch die Serviceleistung von Metadatenanforderungen erheblich verbessern.
Alluxio und XEOS können die von XEOS bereitgestellten Benachrichtigungsfunktionen für Datensatznachrichten vollständig nutzen. Wenn XEOS Datenänderungen erkennt, sendet es Benachrichtigungen in Echtzeit an Alluxio. Alluxio kann den Nachrichtenbenachrichtigungsmechanismus verwenden, um genau und schnell zu bestimmen, welche Daten im Cache erwärmt werden müssen.
Dieser auf Nachrichtenbenachrichtigungen basierende Cache-Vorwärmmechanismus kann die Echtzeit und Genauigkeit des Alluxio-Caches sicherstellen. Ohne manuellen Eingriff in die Anwendung kann Alluxio Datenänderungen automatisch erkennen, Cache-Aktualisierungen und Vorabrufe schnell durchführen, die Aktualität des Caches erheblich verbessern, die Datenzugriffsleistung sicherstellen und die Auswirkungen des Vorheizens auf Berechnungen erheblich reduzieren.
Diese tiefe Integration verbessert nicht nur die Cache-Trefferquote, sondern minimiert auch unnötige Datenbewegungen, wodurch die Gesamt-I/O-Leistung und die Effizienz der Ressourcennutzung erheblich optimiert werden. Durch die Zusammenarbeit von Alluxio und XEOS können KI-Anwendungen ein hervorragendes Datenzugriffserlebnis erzielen.
Die von XEOS bereitgestellten Append-Schreib- und Zufallsschreibfunktionen können in hohem Maße mit den Datenschreibfunktionen der Alluxio-Cache-Schicht integriert werden, um effizientere Datenschreibfunktionen bereitzustellen.
XEOS 作为 Alluxio 的持久化存储层，不仅提供了海量的存储容量，还支持丰富的写入模式，如追加写、随机写等。Alluxio 可以充分利用 XEOS 的这些写入功能来优化缓存写入功能和性能。对于需要频繁更新的热点数据，Alluxio 可以直接以追加写或随机写的方式将数据写入 XEOS，避免了传统对象存储仅支持覆盖写所带来的性能瓶颈。这大幅提升了 Alluxio 缓存层的写入效率。
通过 Alluxio 和 XEOS 的深度融合，可以最大限度地减少数据在两者之间的不必要移动。这提供了更高效的数据写入能力，提升了整体的写入性能，大幅降低了 Alluxio 自身的写入开销，优化了系统的资源利用效率。
XEOS 凭借其出色的数据生命周期管理和流动能力，为 Alluxio 提供了强大的支撑。在最新的 6.4 版本中，XEOS 通过开放数据流动 API 进一步增强了这些核心优势：
通过 XEOS 全面的数据流动 API，应用程序可以轻松实现跨云厂商、NAS、蓝光/磁带等不同存储介质的数据流动。Alluxio 只需下发数据流动规则，XEOS 就可以负责执行具体的数据复制、分层、归档等操作。这种深度集成大大减少了 Alluxio 在读取数据后再次写入到统一文件系统（UFS）的开销，降低了整体的数据写入开销。
同时，XEOS 还提供了复制、分层、校验、QoS 等丰富的数据管理功能。通过与 Alluxio 的紧密结合，双方可以根据实际需求，优化数据的存储和访问策略，不仅提升了数据访问性能，也大幅提高了整个数据生命周期的管理效率。
XEOS 6.4 版本在数据流动和生命周期管理方面的创新能力，为 Alluxio 构建高性能、高效、智能的 AI 数据管理平台提供了坚实的基础。
针对 AI 的优势场景：
以对象为底座且需要高性能文件访问
Alluxio 和 XEOS 的联合方案，针对尤其是在 AI 场景下，以对象存储作为底座，并且需要高性能文件协议访问的客户具备非常大的价值，包括如下四点：
Alluxio 和 XEOS 结合，可以有效综合 XEOS 的高性能对象存储接口能力以及 Alluxio 贴近计算侧的高性能共享缓存层的能力，为计算应用提供高性能数据访问能力。
XEOS 提供了海量数据存储能力，Alluxio 提供了无状态可扩展的共享缓存能力，都可以随着数据存储以及数据访问规模的增大而扩展，既能支撑海量存储又能提供高性能的大规模数据访问能力。
XEOS 作为成熟的对象存储产品，利用一系列技术实现了更加经济的海量数据存储方案，有效降低了企业的海量数据存储成本；Alluxio 则可以通过灵活的部署策略，有效利用企业计算侧的高性能存储空间提供贴近计算侧的共享缓存能力，在不增加额外硬件成本的基础上实现高性能数据访问能力的构建。
XEOS 构建了安全可靠、高性能、低成本的对象存储平台，Alluxio 基于 XEOS 提供了高效数据缓存以及数据访问平台，Alluxio 某种意义上是 XEOS 的扩展客户端，实现 1+1>2 的架构。
√
可以利用 Alluxio 的统一命名空间实现多个 XEOS 以及 XEOS 和其他文件/对象存储系统的统一访问。
√
可以利用 Alluxio+XEOS 提供更加高效的 POSIX 和 S3 协议的接口能力。
√
可以利用 Alluxio+XEOS 提供更完善的安全能力，包括和 Kerberos、Ranger 等集成。
✦
【添加小助手，了解更多活动详情】
✦
✦
【近期热门】
✦
✦
【宝典集市】
✦
本文分享自微信公众号 - Alluxio（Alluxio_China）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。