빅 데이터 (팔) 하둡 YARN 구성

 

 

 (1) 구성이 mapred-를 site.xml

[루트 @ node01 하둡] # MV mapred-site.xml.template mapred- 를 site.xml 
[루트 @ node01 하둡] # VI mapred- site.xml의
     <속성> 
        <이름> mapreduce.framework.name </ 이름> 
        <값 > 실 </ value>를 
    </ 속성>

 2 구성 원사를 site.xml

[루트 @ node01 하둡] # VI 원사 - site.xml의
　　 <속성> 
　　　　<이름> yarn.nodemanager.aux-서비스 </ 이름> 
　　　　<값> mapreduce_shuffle </ value>를 
　　</ 속성> 

　　<속성> 
   　　<이름> 얀. resourcemanager.ha.enabled </ 이름> 
   　　<값> 참 </ value>를 
　　</ 속성> 
　　<속성> 
   　　<이름> yarn.resourcemanager.cluster- ID </ 이름> 
   　　<값> 클러스터 1 </ value>를 
　　</ 속성> 
　　<특성> 
   　　<이름> yarn.resourcemanager.ha. RM -ids </ 이름> 
   　　<값> RM1, RM2 <호스트 .rm1 </ 이름> 
   　　<값> node03 </ value>를 
　　</ 속성> 
　　<속성> 
   　　<이름> yarn.resourcemanager. 호스트 .rm2 </ 이름> 
   　　<값> node04 </ value>를 
　　</ 속성> 
　　<속성> 
   　　<이름> yarn.resourcemanager.zk 주소 </ 이름> 
   　　<값> node02 : 2,181 , node03 : 2,181 , node04 : 2,181 </ value>를 
　　</ 속성>

 

3,이 두 문서는 다른 노드 하둡에 배포됩니다

[루트 @ node01 하둡] #에 SCP mapred-site.xml의 얀의 site.xml node02` PWD `

 

도 4는, 이렇게 두 개의 키는 ResourceManager간에 서로 피하기

[@ node03 루트. SSH ] #에 SSH-Keygen은 -t DSA -P ' -f ./ id_dsa 
[@ node03 루트. SSH ] #에 CAT의 id_dsa.pub >> 의 authorized_keys 
[@ node03 루트. SSH ] # SCP id_dsa.pub node04` PWD '/ node03.pub 
[@ node04 루트. SSH # 개] CAT의 node03.pub >>을 authorized_keys에 

동일한 방법으로 다른 노드로

 

5 시작

부팅 순서 :

①zookeeper, zkServer.sh 시작
②hdfs (스크립트를 사용하지 않을에 있다는 것을 참고, 시작 - 모든) start-dfs.sh을
   윈와 NN2가 시작되지 않는 경우, 당신은 node01 필요 node02가 수동으로 시작되었다 :
   hadoop-daemon.sh 시작 네임 노드의
③start- yarn.sh은 (nodemanager 시작)
, 03에 각각 04 스크립트 노드를 실행 ④ : yarn-daemon.sh 시작 ResourceManager에

6 각 노드 역할을하는 프로세스를 시작한 후

[루트 @ node01 ~ ] # JPS
 3136 JPS
 2612 네임 노드
 2955 DFSZKFailoverController
 2798 JournalNode 

[루트 @ node02 ~ ] #의 JPS
 2306 DFSZKFailoverController
 2388 NodeManager
 2056 네임 노드
 2120 데이터 노드
 2202 JournalNode
 2524 JPS
 1388 QuorumPeerMain 

[루트 @ node03 ~ ] # JPS
 1875 데이터 노드
 1957 JournalNode
 1414 QuorumPeerMain
 2409 JPS
 2185 ResourceManager에
2044 NodeManager 

[루트 @ node04 ~ ] #의 JPS
 1890 NodeManager
 1794 데이터 노드
 2085 JPS
 1415 QuorumPeerMain
 2031 ResourceManager에

 

7, HTTP 액세스 포트 : 8088

8, 정지 :

node01 : stop-dfs.sh
node01 : stop-yarn.sh (정지 nodemanager)
node03, node04 : ResourceManager에 STOP (중지는 ResourceManager를 yarn-daemon.sh )

사육사 : zkServer.sh 정지