1. 분산 파일 시스템 HDFS 스토리지 아키텍처
1. HDFS 구조 및 아키텍처
HDFS 구조:
NameNode는 HDFS의 핵심으로 전체 HDFS 파일 시스템을 관리하고 유지하며 주요 기능은 다음과 같습니다.
- 사용자 작업 요청 수신을 담당합니다.
- 파일 시스템 네임스페이스(namespace), 클러스터 구성 정보 및 스토리지 블록 복제 관리를 담당합니다.
- 파일 디렉토리 트리 유지 관리 및 파일에 해당하는 차단 목록 유지 관리를 담당합니다.
- 블록과 DataNode 간의 관계 관리를 담당합니다.
HDFS에서 FsImage와 Edit Log는 NameNode의 두 가지 매우 중요한 파일입니다. 네임노드의 메타데이터 정보인 네임노드의 로컬 디스크에 저장된다.
그 중 FsImage 파일은 파일에 대한 데이터 블록의 매핑, 디렉토리 또는 파일의 구조 및 속성과 같은 정보를 기록하는 데 사용되며 마지막 체크포인트 이전 HDFS 파일 시스템의 모든 디렉토리 및 파일에 대한 정보를 기록합니다.
편집 로그 파일은 파일 생성, 삭제, 이름 변경 작업 로그를 기록합니다. 즉, 마지막 체크포인트 이후 HDFS 파일 시스템에서 수행된 모든 작업이 편집 로그 파일에 기록됩니다. 예를 들어 HDFS에서 파일이 생성되면 Namenode는 편집 로그에 레코드를 삽입하고 유사하게 파일의 복사 요소를 수정하면 편집 로그에도 레코드를 삽입합니다.
HDFS 분산 파일 시스템 아키텍처: