빅 데이터 교육 _w HBase를 Xingjian 디자인의 고급 사용법
1. 핫 이슈
지역의 뜨거운 이슈를 감소, 분산 작성합니다.
예를 들어 : 역사의 거래 주문, 주문 번호는 일반적으로 타임 스탬프 + 임의의 네 자리 숫자에 의해 생성되며, 주문 번호 역방향 수 있습니다. 이러한 rowkey는 중앙 저장 영역을 감소시키기 위해, 역순으로 번호가 저장된다.
예를 들어 사용자의 인터넷 트래픽이 HBase를에 저장되어있는, 보통의 rowkey의 HBase와 같은 전화 번호를 수 있습니다. 때문에 네 자리 전화 번호로 무작위입니다. 그것은의 rowkey의 HBase와 같은 휴대 전화 번호 역방향 순서를 할 수 있습니다.
생각 :
하나의 영역을 작성, 왜 때 직접 Xingjian과 타임 스탬프, 뜨거운 문제가 발생?
답변 : 타임 스탬프가 뜨거운 이슈의 하나의 영역으로 이어질 것입니다 직접 사용.
하단에서 <K, V>의 SortedMap 키 - 값 쌍에 저장된 데이터를 기억 HBase와의 rowkey의 HFILE이다. 시간이 상대적으로 농축 된 경우 및 주문 rowkey의 영역은 저장된다. 그것은 지역에 저장되므로, 데이터 영역이 증가, 다른 잘 데이터 영역은 데이터 로딩 속도가 매우 느려질 수 있습니다. 지역 분할까지 해결할 수 있습니다.
2. 디자인 Xingjian
HBase와의 주요 구조의 두 가지 기본 유형이 있습니다 : 회전 및 키의 열
이는 모두 의미있는 정보의 키에 대응뿐만 아니라 값을 저장됩니다
열 키 : 그것은 가족의 이름과 한정자 열을 포함, 컬럼의 인덱스로 이동
회전 : 관계형 데이터베이스의 기본 키에 해당 논리 배열에 의해 얻어진 라인은 모든 열을 회전
논리적 사용자의 각 행은 함께 설정하지 않은,하지만 실제 시간은 별도의 파일에 각 열 그룹에 저장되고, 다른 컬럼의 셀 그룹은 결코 같은 StoreFile에 표시되지 않습니다. 동시에, HBase를 저장 전지는 디스크에있는 파일은 이러한 셀 값을 빈이있다되지 않습니다.
실제 저장 영역에 각 셀은 공전하고 또한 키의 열을 포함하므로, 각 셀은 개별적으로 테이블의 위치의 키 정보를 저장한다.
셀의 서로 다른 버전의 연속 셀 별도로 저장하여 내림차순의 타임 스탬프에 따라 상기 셀, 따라서 디폴트 최신의 셀 데이터를 판독.
동일한 컬럼 그룹 눌러 셀 정렬을 공전하면 열의 행에 복수의 셀은 타임 스탬프에 의해 정렬 동일한 셀의 다수의 버전이 저장 키를 정렬 할 때
위의 저장 특성에 따르면, 효과적으로 효율성을 향상, 쿼리를 줄일 수 있습니다 쿼리 지정된 열 가족 정보가 저장된 파일의 시간에 권장
라인 키 디자인 3. 요점
(1) 무역 : 열 가족 아래에있는 모든 세포가 저장 파일 (저장소 파일)에 저장되어있는 디스크에, 다른 열 가족의 셀이 같은 저장소 파일에 나타나지 않습니다.
(2) NULL HBase를이 테이블에 저장되지 않습니다.
(3) 각각의 셀은 실제 공전에 저장하며, 즉 키의 열을 포함하고, 개인 정보 테이블의 해당 위치에 저장된다.
동일한 셀의 버전 (4) 복수의 내림차순의 타임 스탬프에있어서, 하나의 인접 셀로서 상기 셀에 저장된다. 따라서, HFILE은 독서 시간에, 최신의 값을 읽을 수 있습니다.
콘텐츠 키 값 (5) 세포 : 공전 열 기 규정 열, 타임 스탬프 값. 키 값은 첫 번째 Xingjian 정렬 한 후 정렬 키 열에 따라 저장됩니다.
(6) 키 값을 위해, 선별 효율이 저하되며 좌 : 공전 열 기 규정 열, 타임 스탬프 값. 따라서 중요한 왼쪽으로 정보를 필터링하려고합니다.
HTTPS : //www.jianshu.com/p/799827187218 재현