HBase와는 배치 및 기타 관련 요소 (하이브 피닉스) 통합
A, HBase를 배포
1.1 , 사육사 정상적인 전개
첫째, 일반 배포 사육사 클러스터를 확인하고 그것을 시작합니다 :
/opt/module/zookeeper-3.4.5/bin/zkServer.sh 시작
1.2 , 하둡 정상적인 전개
하둡 클러스터와 시작의 정상 배포 :
/opt/module/hadoop-2.8.4/sbin/start-dfs.sh
/opt/module/hadoop-2.8.4/sbin/start-yarn.sh
1.3 , HBase를 압축 해제
HBase를 지정된 디렉토리를 추출 :
타르 -zxf /opt/software/hbase-1.3.1-bin.tar.gz -C / 옵션 / 모듈 /
1.4 , HBase와의 프로필
HBase를가 해당 구성 파일을 수정해야합니다.
hbase-env.sh 내용을 수정 :
수출 JAVA_HOME는 / 옵션 / 모듈 / jdk1.8.0_121 =
수출 HBASE_MANAGES_ZK = 거짓
팁 : JDK8를 사용하는 경우 아웃 주석, 위의 라인 45 ~ 47 hbase-env.sh을, 그렇지 않으면 경고가보고됩니다
HBase를-site.xml 파일의 내용 :
<특성>
<이름> hbase.rootdir </ 이름>
<값> HDFS : // 마스터 : 9000 / HBase와 </ 값>
</ 속성>
<특성>
<이름> hbase.cluster.distributed </ 이름>
<값> 진정한 </ 값>
</ 속성>
<특성>
<이름> hbase.master.port </ 이름>
<값> 16000 </ 값>
</ 속성>
<특성>
<이름> hbase.zookeeper.quorum </ 이름>
<값> 주 : 2181 SLAVE1 : 2181 slave2 : 2,181 </ 값>
</ 속성>
<특성>
<이름> hbase.zookeeper.property.dataDir </ 이름>
<값> /opt/module/zookeeper-3.4.10/zkData </ 값>
</ 속성>
<특성>
<이름> hbase.master.maxclockskew </ 이름>
<값> 180000 </ 값>
</ 속성>
regionservers :
석사
SLAVE1
slave2
1.5의 경우 , HBase와의 필요성이 의존하는 항아리 패키지를 (추가, 아니 구성)
그래서 해결 호환성 문제로 HBase를 lib 디렉토리 아래에 항아리 패키지를 대체, 하둡에 의존 HBase를 필요 가입일 :
1) 원래의 병을 삭제합니다 :
RF RM은 /opt/module/hbase-1.3.1/lib/hadoop-*
RF RM은 /opt/module/hbase-1.3.1/lib/zookeeper-3.4.10.jar
2) 새로운 항아리를 복사 항아리 관련은 다음과 같습니다 :
하둡 - 주석 - 2.8.4.jar
하둡 - 인증 - 2.8.4.jar
하둡 클라이언트-2.8.4.jar
하둡 - 공통 2.8.4.jar
하둡 HDFS-2.8.4.jar
하둡 맵리 듀스 - 클라이언트 응용 프로그램-2.8.4.jar
하둡 맵리 듀스 - 클라이언트 공통 2.8.4.jar
하둡 맵리 듀스 클라이언트 코어-2.8.4.jar
하둡 맵리 듀스 클라이언트-HS-2.8.4.jar
하둡 맵리 듀스 클라이언트-HS-플러그인-2.8.4.jar
하둡 맵리 듀스 - 클라이언트 jobclient-2.8.4.jar
하둡 맵리 듀스 - 클라이언트 jobclient-2.8.4-tests.jar
하둡 맵리 듀스 - 클라이언트 셔플-2.8.4.jar
하둡 얀 API-2.8.4.jar
하둡 - 원사 - 응용 - distributedshell-2.8.4.jar
하둡 - 원사 - 애플리케이션 - 관리되지 않는-AM-실행-2.8.4.jar
하둡 - 원사 - 클라이언트-2.8.4.jar
하둡 - 원사 - 일반-2.8.4.jar
하둡 - 원사 - 서버 applicationhistoryservice-2.8.4.jar
하둡 - 원사 - 서버 공통 2.8.4.jar
하둡 - 원사 - 서버 nodemanager-2.8.4.jar
하둡 - 원사 - 서버 ResourceManager에-2.8.4.jar
하둡 얀 서버 테스트-2.8.4.jar
하둡 - 원사 - 서버 웹 프록시-2.8.4.jar
사육사-3.4.10.jar
비명 : 패키지의이 해당 버전은 현재, 특정 조건을 사용하는 항아리 하둡 버전을 교체해야합니다.
항아리 패키지, 예를 들면 찾기 :
/opt/module/hadoop-2.8.4/ -name의 하둡 - 주석을 찾을 수 *
그런 다음 HBase를 lib 디렉토리에 복사 항아리 패키지를 찾을 수 있습니다.
1.6 , HBase를 유연한 연결 하둡 구성 (추가 구성없이)
LN -s /opt/module/hadoop-2.8.4/etc/hadoop/core-site.xml /opt/module/hbase-1.3.1/conf/core-site.xml
LN -s /opt/module/hadoop-2.8.4/etc/hadoop/hdfs-site.xml /opt/module/hbase-1.3.1/conf/hdfs-site.xml
1.7 환경 변수를 구성
VI은 / etc / 프로필
수출 HBASE_HOME = / 옵션 / 모듈 / HBase를-1.3.1
수출 PATH = $ HBASE_HOME / 빈 : $ PATH에
소스은 / etc / 프로필
1.8, HBase를 원격 다른 클러스터에 scp를
SCP -r /opt/module/hbase-1.3.1/ SLAVE1 : / 옵션 / 모듈 /
SCP -r /opt/module/hbase-1.3.1/slave2:/opt/module/
1.9, HBase를 서비스를 시작
시작 모드 1 :
빈 / hbase-daemon.sh 시작 마스터
빈 / hbase-daemon.sh 시작 regionserver
팁 비명 : 클러스터 노드 사이의 시간이 동기화되지 않으면, 그것은 ClockOutOfSyncException 예외를 던지는 시작하지 regionserver으로 이어질 것입니다.
시작 모드 2 :
빈 / start-hbase.sh
스톱 서비스 대응 :
빈 / stop-hbase.sh
2.0, 페이지 뷰 Hbse
성공적인 시작 후 수행 할 수 있습니다 : 액세스 HBase를 관리 페이지 예 : "호스트 포트"방법 :
에 http : // 마스터 : 16010
두, HBase를 하고 하이브 통합 사용
환경 준비
우리가 운용하는 동안 또한 HBase와 하이브에 영향을 미칠 수에 따라 있기 때문에,이 HBase와 하이브 항아리의 작동을 유지하는 데 필요한, 그 다음 사본 하이브 항아리 패키지 따라 (또는 형태의 소프트 유선). 또한 기억 사육사는 하이브의 항아리 패키지 lib 디렉토리에 입원했다.
# 환경 변수 의 / etc / 프로필
$ 수출 HBASE_HOME = / 옵션 / 모듈 / HBase를-1.3.1
$ 수출 HIVE_HOME = / 옵션 / 모듈 / 아파치 하이브-1.2.2-빈
#Shell의 실행
$ LN -s $ HBASE_HOME / lib 디렉토리 / HBase를-공통 1.3.1.jar $ HIVE_HOME / lib 디렉토리 / HBase를-공통 1.3.1.jar
$ LN -s $ HBASE_HOME / lib 디렉토리 / HBase를 서버-1.3.1.jar $ HIVE_HOME / lib 디렉토리 / HBase를 서버-1.3.1.jar
$ LN -s $ HBASE_HOME / lib 디렉토리 / HBase를 클라이언트-1.3.1.jar $ HIVE_HOME / lib 디렉토리 / HBase를 클라이언트-1.3.1.jar
$ LN -s $ HBASE_HOME / lib 디렉토리 / HBase를 프로토콜-1.3.1.jar $ HIVE_HOME / lib 디렉토리 / HBase를 프로토콜-1.3.1.jar
$ LN -s $ HBASE_HOME / lib 디렉토리 / HBase를-IT-1.3.1.jar $ HIVE_HOME / lib 디렉토리 / HBase를-IT-1.3.1.jar
$ LN -s $ HBASE_HOME / lib 디렉토리 / htrace 코어-3.1.0-incubating.jar $ HIVE_HOME / lib 디렉토리 / htrace 코어-3.1.0-incubating.jar
$ LN -s $ HBASE_HOME / lib 디렉토리 / HBase를-hadoop2-의 compat-1.3.1.jar $ HIVE_HOME / lib 디렉토리 / HBase를-hadoop2-의 compat-1.3.1.jar
$ LN -s $ HBASE_HOME / lib 디렉토리 / HBase를-하둡의 compat-1.3.1.jar $ HIVE_HOME / lib 디렉토리 / HBase를-하둡의 compat-1.3.1.jar
그동안 하이브를 site.xml 수정 사육사의 특성으로 다음과 같습니다 :
<특성>
<이름> hive.zookeeper.quorum </ 이름>
<값> bigdata11, bigdata12, bigdata13 </ 값>
<설명> 이야기 사육사 서버의 목록입니다. 이것은 단지 읽기 / 쓰기 잠금 필요합니다. </ 설명>
</ 속성>
<특성>
<이름> hive.zookeeper.client.port </ 이름>
<값> 2181 </ 값>
<설명> 이야기 사육사 서버의 포트입니다. 이것은 단지 읽기 / 쓰기 잠금 필요합니다. </ 설명>
</ 속성>
참고 : lib 디렉토리 디렉토리에 하이브를 교체 할 필요 하이브 HBase를 핸들러-1.2.1.jar
세, HBase를 하고 피닉스 통합 사용
1.phoenix 설치 패키지의 압축을 풉니 다 교체 디렉토리
타르 -zxvf 아파치 피닉스 4.14.1-HBase를-1.2 bin.tar.gz -C / 옵션 / 모듈
MV 아파치 - 피닉스-4.14.1-HBase를-1.2-빈 피닉스-4.14.1
환경 변수 VI은 / etc / 프로필
# 마지막 두 줄에서 다음과 같은 추가 피닉스 구성
수출 PHOENIX_HOME = / 옵션 / 모듈 / 피닉스-4.14.1
수출 PATH가 $ PATH를 = : $ PHOENIX_HOME을 / 빈
# 환경 변수 설정을 적용 할
소스은 / etc / 프로필
마스터 노드 는 노드로부터 전송 된 패킷 피닉스
피닉스 - 4.14.1 루트 -r $ SCP @ SLAVE1 : / 옵션 / 모듈
피닉스 - 4.14.1 루트 -r $ SCP @ slave2 : / 옵션 / 모듈
복사 HBase를-site.xml의 (주) 세 가지가
CP의 HBase를-site.xml의 /opt/module/phoenix-4.14.1/bin/
다음 두 항아리 패키지, 디렉토리 /opt/module/phoenix-4.14.1, HBase를 lib 디렉토리에 복사, 디렉토리 /opt/module/hbase-1.3.1/lib/
(주) 매 3
피닉스-4.14.1-HBase를-1.3-server.jar
피닉스 코어-4.14.1-HBase를-1.3.jar
2 시작 피닉스
구성 HBase를 아래에서 다시 시작 .
sqlline.py 마스터 : 2181