HDFS의 스냅샷 메커니즘

소개하다

• 스냅샷은 특정 순간의 데이터 저장소 상태 기록이고, 백업은 특정 순간의 데이터 저장소의 복사본입니다.
• HDFS 스냅샷은 특정 순간의 전체 파일 시스템 또는 특정 디렉터리의 이미지로, 이 이미지는 소스 디렉터리가 변경되어도 동적으로 업데이트되지 않습니다.

효과

• 데이터 복구:
  중요한 디렉터리의 스냅샷을 생성하고, 사용자가 실수를 했을 경우 스냅샷을 사용하여 관련 복구 작업을 수행할 수 있습니다.
• 데이터 백업은
  스냅샷을 사용하여 전체 클러스터 또는 특정 디렉터리 및 파일을 백업합니다. 관리자는 특정 시점의 스냅샷을 백업의 시작 노드로 사용하고, 테이블의 서로 다른 백업 간의 차이를 기반으로 백업 증분을 수행합니다.
• 데이터 테스트:
  일부 중요한 데이터에 대한 테스트나 실험을 수행하면 원본 데이터가 직접적으로 파괴될 수 있습니다. 사용자가 데이터를 조작하기 위해 일시적으로 스냅샷을 생성할 수 있으며, 사용자는 해당 스냅샷에 대해 관련 실험적 열화 테스트를 수행하여 원본 데이터의 손상을 방지할 수 있습니다.

기능 구현

• HDFS 스냅샷은 데이터의 단순한 복사본이 아니며 차이점만 기록합니다.
• 변경되지 않은 대부분의 데이터에 대해 실제로 표시되는 데이터는 현재 물리적 경로가 가리키는 내용이며, 변경된 inode 데이터는 소위 차등 복사본인 스냅샷 외부에 복사됩니다.
• inode는 시간, 이름, 소유자, 그룹 등을 포함하여 파일 및 디렉터리의 기본 정보를 저장하는 데 사용되는 인덱스 노드를 나타냅니다.
• HDFS 스냅샷은 데이터노드의 블록을 복사하지 않고 블록 목록과 파일 크기만 기록합니다.
• HDFS 스냅샷은 일반적인 HDFS 작업에 부정적인 영향을 미치지 않으며 수정 사항은 시계 반대 방향으로 기록되므로 현재 데이터에 직접 액세스할 수 있습니다. 현재 데이터에서 수정 사항을 빼서 스냅샷 데이터를 계산합니다.

관련 명령 및 작업

• HDFS에서는 전체 파일 시스템이나 특정 디렉터리에 대해 스냅샷을 생성할 수 있지만, 해당 디렉터리에 대해서는 스냅샷 기능이 활성화되어 있어야 한다는 전제가 있다.
• 스냅샷 기능이 활성화되지 않은 디렉터리에 대한 스냅샷을 생성하면 오류가 보고됩니다.
• HDFS에서는 스냅샷 기능이 활성화된 디렉터리에 대해 스냅샷 기능을 비활성화할 수 있습니다.
• 비활성화하기 위한 전제 조건은 디렉터리의 모든 스냅샷이 삭제되었다는 것입니다.

# 启用快照功能
hdfs dfsadmin -allowSnapshot .allenwoon
# 禁用快照功能
hdfs dfsadmin -disadminSnapshot /allenwoon

관련 명령