빌드 작업의 완전 분산 모드를 하둡

IP 이름 대응표

192.168.1.43	rjsoft-0001
192.168.1.99	rjsoft-0002
192.168.1.113	rjsoft-0003

구성 테이블

rjsoft-0001

rjsoft-0002

rjsoft-0003

HDFS

네임 노드

데이터 노드

SecondaryNameNode

데이터 노드

실

NodeManager

ResourceManager에

NodeManager

1, 구성 SSH 로그인없는 비밀

이 파일 구성 파일을 수정

(1) 코어 프로파일

배치 core-site.xml

[CSG @ rjsoft-0001 하둡] $ VI 코어를 site.xml

구성 파일에서 다음 쓰기

<- - 지정 HDFS 네임 노드 주소!> 
<대지> 
        <이름> fs.defaultFS </ 이름> 
      <값> HDFS : // rjsoft-0001 : 9000 </ 값> 
</ 속성> 

<! - 파일 저장 디렉토리를 생성하는 실행 지정된 하둡 -> 
<속성> 
        <이름> hadoop.tmp.dir </ 이름> 
        <값> /opt/module/hadoop-2.7.2/data/tmp </ 값> 
</ 부동산>

(2) 프로파일 HDFS

　　구성 hadoop-env.sh

[CSG @ rjsoft-0001 하둡] $ VI hadoop- env.sh 
수출 JAVA_HOME = / 옵션 / 모듈 / jdk1.8.0_144

　　구성 HDFS를-site.xml 파일

[CSG @ rjsoft-0001 하둡] $ VI HDFS-site.xml 파일

　　<속성> 
        <이름> dfs.replication </ 이름> 
        <값> 3 </ value>를 
    </ 속성> 

    <! -指定하둡辅助名称节点主机配置-> 
    <속성> 
        <이름> dfs.namenode.secondary .http 주소 </ 이름> 
        <값> rjsoft-0003 : 50090 </ value>를 
    </ 속성>

(3) YARN 프로필

　　구성 yarn-env.sh

[CSG @ rjsoft-0001 하둡] $ VI 원사 - env.sh 
수출 JAVA_HOME = / 옵션 / 모듈 / jdk1.8.0_144

　　배치 yarn-site.xml

[CSG @ rjsoft-0001 하둡] $ VI 원사를 site.xml

　　증가 파일을 다음과

<! - 감속기获取数据的方式-> 
<특성> 
        <이름> yarn.nodemanager.aux-서비스 </ 이름> 
        <값> mapreduce_shuffle </ 값> 
</ 부동산> 

<! -指定원사的ResourceManager에的地址-> 
<속성> 
        <이름> yarn.resourcemanager.hostname </ 이름> 
        <값> rjsoft-0002 </ value>를 
</ 속성>

(4)의 MapReduce 프로필

　　구성 mapred-env.sh

[CSG @ rjsoft-0001 하둡] $ VI mapred- env.sh 
수출 JAVA_HOME = / 옵션 / 모듈 / jdk1.8.0_144

　　배치 mapred-site.xml

[CSG @ rjsoft-0001 하둡] $의 CP-mapred site.xml.template mapred- 를 site.xml 

[CSG @ rjsoft -0001 하둡] $ mapred-VI를 site.xml

증가 파일을 다음과

<! -指定MR运行在원사上-> 
<속성> 
        <이름> mapreduce.framework.name </ 이름> 
        <값> 사 </ value>를 
</ 속성>

3. 클러스터 구성 Hadoop을 구성 파일에 좋은 유통

[CSG @ rjsoft-0001 하둡] $ xsync /opt/module/hadoop-2.7.2/

4. 문서의 상태를 확인

[CSG @ rjsoft-0002 하둡] $ 고양이 /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

구성 노예

/opt/module/hadoop-2.7.2/etc/hadoop/ 노예 
[CSG @ rjsoft -0001 하둡] $ VI 노예

파일을 추가합니다 (세 개의 기계를 추가해야합니다)

rjsoft-0001 
rjsoft -0002 
rjsoft -0003

참고 : 음주, 파일의 내용의 끝을 수있는 공간을 추가하지가 빈 줄은 파일에 허용되지 않습니다.

클러스터 시작

(1) 단일 노드 기동

1 개 단일 노드 시작 및 정지 하둡 : 
참조 URL : HTTPS를 : //가 www.cnblogs.com/xym4869/p/8821312.html 

: 디렉토리 하둡 입력 

네임 노드 포맷 : 빈 - / 네임 노드 HDFS 형식 (시작 첫 번째 시간 형식에 필요) 

네임 노드를 시작합니다 : sbin에 / hadoop- daemon.sh 네임 노드의 시작 

sbin에 : 시작 데이터 노드 / hadoop- daemon.sh 데이터 노드를 시작 

JPS가 성공적으로 시작하는지 

네임 노드를 중지 sbin에 / hadoop- daemons.sh 중지 네임 노드의 

정지 데이터 노드를 : sbin에 / hadoop- daemons.sh 정지 dataname 

웹 터미널 접속 사용 : HTTP를 : // IP 주소 : 9870

실

YARN 시작 맵리 듀스에서 단일 노드를 실행
 한 시작하고 네임 노드되는 DataNode 보장하기 위해) 먼저
 2) 시작 ResourceManager에 sbin에 / 원사 - daemon.sh 시작 ResourceManager에
 . 3) 시작 sbin에 NodeManager / 원사 - daemon.sh 시작 nodemanager
 . 4) 닫기 ResourceManager에 sbin에 / 원사 - STOP ResourceManager에의 daemon.sh
 5) 가까운 sbin에 nodeManager이 / 원사 - nodemanager daemon.sh STOP
 페이지보기) 원사 브라우저를 6 : HTTP : // IP 주소 : 8088 / 클러스터

2, 클러스터 시작

디렉토리 sbin에 디렉토리를 하둡 입력 

( 1) 전체의 시작 / 정지 HDFS 

              시작 -dfs.sh / 스톱 - dfs.sh 

( 2) 전반적인 시작 / 정지 YARN 

              시작 -yarn.sh / stop-yarn.sh

빌드 작업의 완전 분산 모드를 하둡

2, 클러스터 시작

추천