StreamingWarehouse에 대한 몇 가지 생각과 향후 동향

300만 단어! 전체 네트워크에서 가장 완벽한 빅 데이터 학습 인터뷰 커뮤니티가 여러분을 기다리고 있습니다!

공책.

Hudi, Iceberg 및 Paimon의 프레임워크를 예로 들면 효율적인 데이터 흐름/일괄 읽기 및 쓰기, 데이터 역추적 및 데이터 업데이트를 지원합니다. 여기에는 주로 다음과 같은 측면에서 기존의 실시간 및 오프라인 데이터 웨어하우스에는 없는 몇 가지 기능이 있습니다.

이러한 스토리지 엔진은 자연스럽게 통합된 배치 흐름 통합 스토리지입니다. 테이블 데이터를 완성하기 위한 일괄 액세스를 지원할 뿐만 아니라 테이블 데이터의 전체 처리를 먼저 지원한 다음 변경 로그의 증분 스트림 처리를 지원합니다.
UPSERT 스트림을 지원하는 것은 매우 중요하며 파일 구성 형식도 더 효율적입니다(LSM).
TimeTravel을 지원합니다. 이론적으로 배치 또는 스트림 처리는 어느 시점에서나 수행될 수 있습니다.
다른 오프라인 데이터 웨어하우스 작업도 있습니다.

Lake 프레임워크를 기반으로 새로운 데이터 웨어하우스 시스템 Streaming Warehouse를 구축하면 모든 개발이 테이블 및 순수 SQL 작업을 중심으로 이루어집니다.

이러한 아키텍처는 핵심 문제를 해결합니다.

성능이 충분하면 실시간 링크와 비슷한 지연을 달성할 수 있습니다.
배치와 흐름의 자연스러운 통합, 일관된 수준, 컴퓨팅 의미의 자연스러운 정렬, 데이터 일관성 보장
중간 결과를 확인할 수 있는데 이는 현재 널리 사용되는 실시간 데이터 웨어하우스와 비교할 때 큰 장점입니다.
기록 데이터를 복원하는 것은 매우 편리합니다.
낮은 개발 및 저장 비용

이는 많은 기사에서도 언급됩니다. 일괄 흐름 통합 컴퓨팅 및 저장을 실현하고 스트림, 일괄 처리 및 OLAP 처리를 동시에 지원하며 "테이블" 형식의 데이터 처리를 실현합니다.

현재 대체할 수 있는 몇 가지 시나리오: 예를 들어 종단 간 지연은 분 수준에서 허용 가능하고, 데이터 로직은 복잡하고 오프라인 상태를 원하며, 실시간 일관성이 강력하고 기존의 데이터베이스를 핵심으로 하는 구체화된 뷰 및 저장 프로시저 생성과 같은 온라인 서비스 시나리오

그러나 위의 내용은 미래에 대한 이상적인 비전이며 현재 단계에서 많은 문제가 해결되지 않았습니다. 예를 들어 종단 간 지연이 순수한 실시간 시나리오의 지연보다 훨씬 큽니다. CheckPoint의 시간 간격 등

그러나 이러한 프레임워크의 지속적인 반복과 개발을 통해 미래는 달라질 수 있습니다.

이 글이 도움이 되셨다면 "좋아요", " 좋아요" 3번 잊지 마세요 !