첫 번째 장 색조 설치
1, 색조 소개
HUE는 = 하둡 사용자 경험을
색조는 아파치 하둡 UI 시스템의 클라우 데라 데스크톱 진화,이 회사는 결국 클라우 데라 하둡 커뮤니티 파이썬 웹 프레임 워크 장고 구현을 기반으로 아파치 재단에 기여할 수있는 오픈 소스입니다.
우리는 색조 웹 콘솔의 브라우저를 사용하여, 같은 맵리 듀스 작업 실행 HDFS의 운영, 데이터 등의 프로세스 데이터를 분석하기 위해 하둡 클러스터와 상호 작용하는 등 SQL 문 하이브, HBase를 데이터베이스 검색 및 실행 할 수 있습니다.
HUE 링크
· 사이트 : http://gethue.com/
· Github에서 : https://github.com/cloudera/hue
· 리뷰 : https://review.cloudera.org
색조 아키텍처
핵심 기능
· 하이브, 임팔라, MySQL은, 오라클, PostgreSQL을, SparkSQL, SOLR SQL, 피닉스을 지원하는 SQL 편집기 ...
· SOLR 검색 엔진은 차트의 다양한입니다
· 스파크 친화적 인 인터페이스 지원 및 하둡
예약 시스템 아파치 Oozie에 대한 지원, 워크 플로우보기를 편집 할 수 있습니다
이러한 기능은 HUE는 하둡 생태 각 구성 요소는 인터페이스가 더 쉬운 제공 비해 제공하지만, 일부 장면은 디버깅이 필요하거나 오류의 깊은 원인을 찾기 위해 기본 시스템을 사용할 수 있습니다.
HUE는 Oozie 작업 흐름을 볼 때, 당신은 또한 쉽게 DAG의 전체 워크 플로우를 볼 수 있지만 DAG의 최신 버전에서만 워크 플로의 행동과 목록 그들 사이의 점프 관계를보고, 제거 된, 난 여전히 기본 인터페이스 시스템 oozie보기를 사용할 수있는 DAG를보고 싶어요.
1, HDFS 및 파일 검색 액세스
2, 웹뿐만 아니라, 디버깅 및 개발을 통해 하이브 데이터는 결과를 보여
3, SOLR 쿼리 및 표시 결과, 보고서 생성
4, 대화 형 SQL 쿼리 임팔라 웹 디버깅 및 개발을 통해
5 스파크 디버깅 개발
7, 개발, 모니터링, 조정 및 워크 플로우 스케줄링의 oozie 작업
8, HBase를 쿼리 및 데이터를 수정, 데이터가 나타난다
9 하이브 메타 데이터 (메타 스토어) 쿼리
10,보기에 맵리 듀스 작업 일정, 트랙 로그
11 만들고 맵리 듀스, 스트리밍, 자바 작업 업무 제출
12 Sqoop2 개발 및 디버깅
13 사육사 브라우징 및 편집
(14), 데이터베이스 (MySQL은, 포스트 그레스, SQLite는 오라클) 쿼리 및 표시
문장 요약 : 색조는 사용하기 쉬운 인터페이스 통합 프레임 워크 , 우리는 학습의 다양한 통합 할 수 있으며, 프레임 워크는 배워야했다, 당신이보기에 하나의 인터페이스를 할 수 있으며, 프레임 워크 모두 수행
2, 색조 설치
색조 설치 지원 방식을 포함한 다양한 방법으로 RPM 패키지 설치, 설치 및 설치 등등,하는 클라우 데라 매니저의 방식 방법의 tar.gz 패키지 우리가 여기 tar.gz의 패키지를 사용하여 설치
단계 : 다운로드 후에 아카이브의 압축을 풀고 업로드에 리눅스
색조 아카이브 다운로드 주소 :
http://archive.cloudera.com/cdh5/cdh/5/
우리는 여기에 사용 된 해당 버전, 특정 다운로드 주소 CDH5.14.0입니다
http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.14.0.tar.gz
다운로드 그것은 리눅스 시스템과 후 압축을 업로드
cd /export/softwares/
tar -zxvf hue-3.9.0-cdh5.14.0.tar.gz -C ../servers/
두 단계 : 시작 컴파일 및 설치
2.1, 리눅스 시스템 설치 종속성 :
우리는 네트워크 설치 패키지의 다양한에 의존해야
yum install ant asciidoc
cyrus-sasl-devel
cyrus-sasl-gssapi
cyrus-sasl-plain
gcc gcc-c++ krb5-devel
libffi-devel
libxml2-devel
libxslt-devel
make mysql mysql-devel
openldap-devel
python-devel
sqlite-devel gmp-devel2.2 색조 구성을 시작
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini통용 배치
[desktop]
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=node03.hadoop.com
is_hue_4=true
time_zone=Asia/Shanghai
server_user=root
server_group=root
default_user=root
default_hdfs_superuser=roothue.ini에서 587 개 라인에 대해, 색조의 스토리지로 MySQL 데이터베이스를 사용하도록 구성
[[database]]
engine=mysql
host=node03.hadoop.com
port=3306
user=root
password=123456
name=hue2.3, MySQL 데이터베이스를 생성
색조 데이터베이스를 만듭니다
create database hue default character set utf8 default collate utf8_general_ci;참고 : 이 단계 아래 수행되지 않도록, 실제 작업은 또한 해당 사용자 색상이 데이터베이스를 작성해야하고, 권한 할당, 나는 그것을 만들지 마십시오
grant all on hue.* to 'hue'@'%' identified by 'hue'; 2.4, 준비 컴파일하기
cd /export/servers/hue-3.9.0-cdh5.14.0
make apps2.5, 리눅스 시스템은 일반적인 사용자 색상을 추가
useradd hue
passwd hue2.6, 색조의 프로세스를 시작할
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor2.7 페이지 뷰
- 첫 번째 방문, 당신은 관리자 사용자 및 암호를 설정해야합니다
- 우리 관리자 사용자 이름과 여기에 암호가, 우리의 설치 하둡 사용자 이름 및 암호와 일치 유지하려고합니다
- 루트 123456 우리는 하둡 사용자 이름과 암호를 설치하다
- 루트 사용자 암호를 사용하여 먼저 로그 123456
우리의 페이지 색상 오류 및이 오류를 찾을 입력 한 후 주로 때문에 하이브입니다, 우리는 우리의 색조를 구성하고 하이브, 그것은 우리에게 걸린 모양을 통합하는 데 필요한 우리의 색조 통합 시간의 잘못 때문에, 그래서 하이브 색조와 하둡 하이브 어떻게 통합하는 방법
통합 3, 색조 및 다른 프레임 워크
3.1 색조 HDFS 하둡 일체화 얀
첫 번째 단계 : 변경 모든 하둡 노드 코어를 site.xml 구성
최종 변경해야 core-site.xml다시 시작해야합니다 후를 hdfs与yarn클러스터를
은`세 시스템 변경core-site.xml
<property>
<name>hadoop.proxyuser.root.hosts</name> <--被代理的用户-->
<value>*</value> <--表示所有用户都可以代理上面配置的root用户-->
</property>
<property>
<name>hadoop.proxyuser.root.groups</name> <--被代理的用户组-->
<value>*</value> <--表示所有用户组都可以代理上面配置的root用户组-->
</property> 단계 : 모든 하둡 노드 변경 HDFS-site.xml 파일
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>세 번째 단계 : 클러스터 하둡를 다시 시작
에서는 node01기계 위의 다음 명령을 실행
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/stop-dfs.sh
sbin/start-dfs.sh
sbin/stop-yarn.sh
sbin/start-yarn.sh4 단계 : 중지 색조 서비스 및 구성 hue.ini 계속
cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini우리의 구성 hue및 hdfs통합
[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://node01.hadoop.com:8020
webhdfs_url=http://node01.hadoop.com:50070/webhdfs/v1
hadoop_hdfs_home=/export/servers/hadoop-2.6.0-cdh5.14.0
hadoop_bin=/export/servers/hadoop-2.6.0-cdh5.14.0/bin
hadoop_conf_dir=/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop우리의 구성 hue및 yarn통합
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=node01
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://node01:8088
history_server_api_url=http://node01:198883.2 집적 구성 색조 및 하이브
구성해야하는 경우 hue와 hive우리가 시작해야, 통합 메타 스토어 서비스의 하이브 와 hiveserver2 서비스 ( 임팔라는 메타 스토어 서비스의 하이브 필요 , hiveserver2 서비스의 색조 필요에 hvie )
Hue.ini는의 구성을 변경 색상
수정 hue.ini
[beeswax]
hive_server_host=node03.hadoop.com
hive_server_port=10000
hive_conf_dir=/export/servers/hive-1.1.0-cdh5.14.0/conf
server_conn_timeout=120
auth_username=root
auth_password=123456
[metastore]
#允许使用hive创建数据库表等操作
enable_new_create_table=true시작은 서비스 메타 스토어의 하이브
하려면 node03컴퓨터 시작 hive의 metastore및 hiveserver2서비스
cd /export/servers/hive-1.1.0-cdh5.14.0
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &다시 시작 색조, 당신은 할 수있는 브라우저 작업 하이브를 통해 페이지
3.3, 색조 및 배치 통합 임
停止색조 서비스 프로세스
수정 hue.ini구성 파일을
[impala]
server_host=node03
server_port=21050
impala_conf_dir=/etc/impala/conf3.4, MySQL의 구성 색조 및 통합
데이터베이스는 1547 선에 아마, MySQL은 구성 후 수,이 옵션은 다음과 같은 의견을 MySQL로 열려,이 옵션을 찾을 수 있습니다
[[[mysql]]]
nice_name="My SQL DB"
engine=mysql
host=node03.hadoop.com
port=3306
user=root
password=1234563.5 서비스의 색조를 다시 시작
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor3.6 하이브 임의 부족을 해결 권한 문제를 실행할
우리가 충분한 권한 이상을 발견 한 MR이 프로그램을 실행하는 데 필요한로서,이 오류가 발생하지, 그들을 하이브 임의의 쿼리를 실행, 구체적인 내용은 다음과 같습니다 :
INFO : Compiling command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0): select count(1) from mystu
INFO : Semantic Analysis Completed
INFO : Returning Hive schema: Schema(fieldSchemas:[FieldSchema(name:_c0, type:bigint, comment:null)], properties:null)
INFO : Completed compiling command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0); Time taken: 0.065 seconds
INFO : Concurrency mode is disabled, not creating a lock manager
INFO : Executing command(queryId=root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0): select count(1) from mystu
INFO : Query ID = root_20180625191616_d02efd23-2322-4f3d-9cb3-fc3a06ff4ce0
INFO : Total jobs = 1
INFO : Launching Job 1 out of 1
INFO : Starting task [Stage-1:MAPRED] in serial mode
INFO : Number of reduce tasks determined at compile time: 1
INFO : In order to change the average load for a reducer (in bytes):
INFO : set hive.exec.reducers.bytes.per.reducer=<number>
INFO : In order to limit the maximum number of reducers:
INFO : set hive.exec.reducers.max=<number>
INFO : In order to set a constant number of reducers:
INFO : set mapreduce.job.reduces=<number>
ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=admin, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx---우리는 줄 필요가 hdfs위의 몇 가지 실행 권한을
hdfs dfs -chmod o+x /tmp
hdfs dfs -chmod o+x /tmp/hadoop-yarn
hdfs dfs -chmod o+x /tmp/hadoop-yarn/staging
아니면 수행 할 수 있습니다
hdfs dfs -chmod -R o+x /tmp우리는 할 수 /tmp있는 모든 파일 및 디렉토리 폴더 권한이 부여됩니다
작업은 하이브를 주어지고 계속되지 않습니다