HBase를 데이터와 피닉스를 가져올 동기화 맵을 달성하면서

데이터 준비 1.HDFS

2019-03-24 09:21:57.347,869454021315519,8,1
2019-03-24 22:07:15.513,867789020387791,8,1
2019-03-24 21:43:34.81,357008082359524,8,1
2019-03-24 16:05:32.227,860201045831206,8,1
2019-03-24 18:11:18.167,866676040163198,8,1
2019-03-24 22:01:24.877,868897026713230,8,1
2019-03-24 12:34:23.377,863119033590062,8,1
2019-03-24 20:16:32.53,862505041870010,8,1
2019-03-24 09:10:55.18,864765037658468,8,1
2019-03-24 16:18:41.503,869609023903469,8,1
2019-03-24 10:44:52.027,869982033593376,8,1
2019-03-24 20:00:08.007,866798025149107,8,1
2019-03-24 10:25:18.1,863291034398181,2,3
2019-03-24 10:33:48.56,867557030361332,8,1
2019-03-24 16:42:15.057,869841022390535,8,1
2019-03-24 10:08:00.277,867574031105048,8,1

주 : 세퍼레이터가 ','

2.에서 HBase를에 테이블을 생성

create 'ALLUSER','INFO';

3. HBase를 함께 매핑 테이블을 구현하기 위해 피닉스에서 같은 테이블을 만들려면

create table if not exists ALLUSER(
    firsttime varchar primary key,
    INFO.IMEI varchar,
    INFO.COID varchar,
    INFO.NCOID varchar
)

참고 :

1. 기본 키 테이블 이름과 필드뿐만 아니라 경우를 포함, 테이블 피닉스 HBase와 같은 테이블의 이름을 필드하기
2. 열의 Phoneix은 HBase를 columnFamily로 시작해야합니다

4. 그렇지 않으면 기본 구분 기호는 탭 키는, importtsv.separator을 통해 구분 기호를 지정합니다

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \
-Dimporttsv.columns=HBASE_ROW_KEY,INFO:IMEI,INFO:IMEI,INFO:NCOID \
-Dimporttsv.separator=, -Dimporttsv.bulk.output=/warehouse/temp/alluser ALLUSER /user/hive/warehouse/toutiaofeedback.db/newuser/000001_0

HBase를 5로 얻어진 HFlie

hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /warehouse/temp/alluser ALLUSER

6. 검토 HBase를, 피닉스

보기 HBase를

보기 피닉스