IP 이름 대응표
192.168.1.43 |
rjsoft-0001 |
192.168.1.99 |
rjsoft-0002 |
192.168.1.113 |
rjsoft-0003 |
구성 테이블
|
rjsoft-0001 |
rjsoft-0002 |
rjsoft-0003 |
HDFS
|
네임 노드 데이터 노드 |
데이터 노드 |
SecondaryNameNode 데이터 노드 |
실 |
NodeManager |
ResourceManager에 NodeManager |
NodeManager |
이 파일 구성 파일을 수정
(1) 코어 프로파일
배치 core-site.xml
[CSG @ rjsoft-0001 하둡] $ VI 코어를 site.xml
구성 파일에서 다음 쓰기
<- - 지정 HDFS 네임 노드 주소!> <대지> <이름> fs.defaultFS </ 이름> <값> HDFS : // rjsoft-0001 : 9000 </ 값> </ 속성> <! - 파일 저장 디렉토리를 생성하는 실행 지정된 하둡 -> <속성> <이름> hadoop.tmp.dir </ 이름> <값> /opt/module/hadoop-2.7.2/data/tmp </ 값> </ 부동산>
(2) 프로파일 HDFS
구성 hadoop-env.sh
[CSG @ rjsoft-0001 하둡] $ VI hadoop- env.sh
수출 JAVA_HOME = / 옵션 / 모듈 / jdk1.8.0_144
구성 HDFS를-site.xml 파일
[CSG @ rjsoft-0001 하둡] $ VI HDFS-site.xml 파일
<속성> <이름> dfs.replication </ 이름> <값> 3 </ value>를 </ 속성> <! -指定하둡辅助名称节点主机配置-> <속성> <이름> dfs.namenode.secondary .http 주소 </ 이름> <값> rjsoft-0003 : 50090 </ value>를 </ 속성>
(3) YARN 프로필
구성 yarn-env.sh
[CSG @ rjsoft-0001 하둡] $ VI 원사 - env.sh
수출 JAVA_HOME = / 옵션 / 모듈 / jdk1.8.0_144
배치 yarn-site.xml
[CSG @ rjsoft-0001 하둡] $ VI 원사를 site.xml
증가 파일을 다음과
<! - 감속기获取数据的方式-> <특성> <이름> yarn.nodemanager.aux-서비스 </ 이름> <값> mapreduce_shuffle </ 값> </ 부동산> <! -指定원사的ResourceManager에的地址-> <속성> <이름> yarn.resourcemanager.hostname </ 이름> <값> rjsoft-0002 </ value>를 </ 속성>
(4)의 MapReduce 프로필
구성 mapred-env.sh
[CSG @ rjsoft-0001 하둡] $ VI mapred- env.sh
수출 JAVA_HOME = / 옵션 / 모듈 / jdk1.8.0_144
배치 mapred-site.xml
[CSG @ rjsoft-0001 하둡] $의 CP-mapred site.xml.template mapred- 를 site.xml
[CSG @ rjsoft -0001 하둡] $ mapred-VI를 site.xml
증가 파일을 다음과
<! -指定MR运行在원사上-> <속성> <이름> mapreduce.framework.name </ 이름> <값> 사 </ value>를 </ 속성>
3. 클러스터 구성 Hadoop을 구성 파일에 좋은 유통
[CSG @ rjsoft-0001 하둡] $ xsync /opt/module/hadoop-2.7.2/
4. 문서의 상태를 확인
[CSG @ rjsoft-0002 하둡] $ 고양이 /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
구성 노예
/opt/module/hadoop-2.7.2/etc/hadoop/ 노예
[CSG @ rjsoft -0001 하둡] $ VI 노예
파일을 추가합니다 (세 개의 기계를 추가해야합니다)
rjsoft-0001 rjsoft -0002 rjsoft -0003
참고 : 음주, 파일의 내용의 끝을 수있는 공간을 추가하지가 빈 줄은 파일에 허용되지 않습니다.
클러스터 시작
(1) 단일 노드 기동
1 개 단일 노드 시작 및 정지 하둡 : 참조 URL : HTTPS를 : //가 www.cnblogs.com/xym4869/p/8821312.html : 디렉토리 하둡 입력 네임 노드 포맷 : 빈 - / 네임 노드 HDFS 형식 (시작 첫 번째 시간 형식에 필요) 네임 노드를 시작합니다 : sbin에 / hadoop- daemon.sh 네임 노드의 시작 sbin에 : 시작 데이터 노드 / hadoop- daemon.sh 데이터 노드를 시작 JPS가 성공적으로 시작하는지 네임 노드를 중지 sbin에 / hadoop- daemons.sh 중지 네임 노드의 정지 데이터 노드를 : sbin에 / hadoop- daemons.sh 정지 dataname 웹 터미널 접속 사용 : HTTP를 : // IP 주소 : 9870
실
YARN 시작 맵리 듀스에서 단일 노드를 실행 한 시작하고 네임 노드되는 DataNode 보장하기 위해) 먼저 2) 시작 ResourceManager에 sbin에 / 원사 - daemon.sh 시작 ResourceManager에 . 3) 시작 sbin에 NodeManager / 원사 - daemon.sh 시작 nodemanager . 4) 닫기 ResourceManager에 sbin에 / 원사 - STOP ResourceManager에의 daemon.sh 5) 가까운 sbin에 nodeManager이 / 원사 - nodemanager daemon.sh STOP 페이지보기) 원사 브라우저를 6 : HTTP : // IP 주소 : 8088 / 클러스터
2, 클러스터 시작
디렉토리 sbin에 디렉토리를 하둡 입력 ( 1) 전체의 시작 / 정지 HDFS 시작 -dfs.sh / 스톱 - dfs.sh ( 2) 전반적인 시작 / 정지 YARN 시작 -yarn.sh / stop-yarn.sh