기사 디렉토리
1장 도리스 소개
1.1 도리스 개요
Apache Doris는 Baidu Big Data Department(구 Baidu Palo, 2018년 Apache 커뮤니티에 기여한 후 Doris로 이름 변경)에서 개발했습니다. Baidu 내에서 사용 중인 제품 라인은 200개 이상이며 시스템은 1,000개 이상 배포되었습니다. 수백 테라바이트에 도달합니다.
Apache Doris는 최신 MPP(Massively Parallel Processing, 대규모 병렬 처리) 분석 데이터베이스 제품입니다. 1초 미만의 응답 시간으로 쿼리 결과를 얻을 수 있어 실시간 데이터 분석을 효과적으로 지원합니다. Apache Doris의 분산 아키텍처는 매우 간단하고 운영 및 유지 관리가 쉬우며 10PB 이상의 매우 큰 데이터 세트를 지원할 수 있습니다.
Apache Doris는 고정된 이력 보고서, 실시간 데이터 분석, 대화형과 같은 다양한 데이터 분석 요구 사항을 충족할 수 있습니다.
데이터 분석 및 탐색적 데이터 분석 등
1.2 도리스 아키텍처
Doris의 아키텍처는 매우 단순합니다.두 가지 역할과 두 가지 프로세스: FE(프론트엔드)와 BE(백엔드)만 있습니다.외부 구성 요소에 의존하지 않아 배포 및 운영 및 유지 관리가 편리합니다.FE와 BE 모두 가능합니다. 선형 확장됩니다.
⚫ FE(Frontend): 클러스터 메타데이터 저장 및 유지 관리, 쿼리 요청 수신 및 구문 분석, 쿼리 계획 계획,
쿼리 실행을 예약하고 쿼리 결과를 반환합니다. 세 가지 주요 역할이 있습니다.
(1) 리더 및 팔로워: 메타데이터의 고가용성을 달성하기 위해 주로 사용되며, 단일 노드가 다운될 때 전체 서비스에 영향을 주지 않고 메타데이터를 온라인에서 실시간으로 복원할 수 있습니다.
(2) 옵저버: 쿼리 노드를 확장하는 데 사용되며 메타 데이터 백업 역할도 수행합니다. 클러스터 압력이 매우 높고 전체 쿼리의 기능을 확장해야 하는 경우 관찰자 노드를 추가할 수 있습니다. 관찰자는 쓰기에 참여하지 않고 읽기만 합니다.
⚫ BE(백엔드): 물리적 데이터의 저장 및 계산을 담당하며 FE에서 생성한 물리적 계획에 따라 분산 방식으로 쿼리를 실행합니다.
데이터의 신뢰성은 BE에 의해 보장되며 BE는 전체 데이터의 여러 복사본 또는 3개의 복사본을 저장합니다. 사본 수는 수요에 따라 동적으로 조정할 수 있습니다.
⚫ MySQL 클라이언트
MySQL 프로토콜의 도움으로 Doris는 MySQL ODBC/JDBC 및 MySQL 클라이언트를 사용하여 Doris에 직접 액세스할 수 있습니다.
⚫ 브로커
브로커는 독립적인 상태 비저장 프로세스입니다. 파일 시스템 인터페이스를 캡슐화하고 HDFS, S3, BOS 등을 포함한 원격 스토리지 시스템의 파일을 읽을 수 있는 기능을 Doris에 제공합니다.