이 문서의 원본, 무단 전재, 원래의 저자 및 링크를 표시하시기 바랍니다
노드의 현재 구성
1 실 단일 노드 구성 관리
우리는 mapread-site.xml 파일을 구성해야
같은 매개 변수를 구성 다음 :
등 / 하둡 / mapred- 를 site.xml :
#의 mapread-site.xml의 <구성> <속성> <이름> mapreduce.framework.name </ 이름> <값> 사 </ value>를 </ 속성> </ 구성> 등 / 하둡 / 원사 - 를 site.xml : #和원사를 site.xml <구성> <속성> <이름> yarn.nodemanager.aux-서비스 </ 이름> <값> mapreduce_shuffle </ value>를 </ 속성> </ 구성>
2 실 관리 및 HA의 구성
우리는 실-site.xml 파일을 구성해야
여기에 대한 최소한의 설정의 샘플입니다 RM 페일 오버.
<속성> <이름> yarn.resourcemanager.ha.enabled </ 이름> <값> 참 </ value>를 </ 속성> <속성> <이름> yarn.resourcemanager.cluster-ID </ 이름> <값> 클러스터 1 </ value>를 </ 속성> <속성> <이름> yarn.resourcemanager.ha.rm-IDS </ 이름> <값> RM1, RM2 </ value>를 </ 속성> <속성> <이름> yarn.resourcemanager .hostname.rm1 </ 이름> <값> node03 </ value>를 </ 속성> <속성> <이름> yarn.resourcemanager.hostname.rm2 </ 이름> <값> node04 </ 값> </ property>를 <속성> <이름> yarn.resourcemanager.zk 주소 </ 이름> <값> node02 : 2,181 , node03 : 2,181 , node04 : 2,181 </ value>를 </ 속성>
3, 그 몇 가지 특정 공정 노드는 사용자가 상호 비밀 키 로그인을 달성하기 위해 무료로, 키를 배포 서로 두 노드를 필요로하는 곳에으로 자신의 노드는 ResourceManager에 건설 될 예정
node03
[루트 @의 node03 ~] # ssh를-Keygen은 -t DSA -P '' -f ~ / 스푸핑 / id_dsa
자신의 자유 키의 실현은 로그인
[루트 @의 node03 ~] #에서 cd 스푸핑 / [루트 @ node03 스푸핑] # 게요 总用量20 -rw-R - r--로 1 개 루트 루트 (616) 9月 23 11 : 35 authorized_keys에이 -rw ----- - 1 루트 루트 672 10月 4 15 : 57 id_dsa -rw-R - r--로 1 개 루트 루트 601 10月 4 15 : 57 id_dsa.pub -rw-R - r--로 1 루트 루트 171 9月 23 11 : 26 에서 known_hosts -rw-R - r-- 사용1 루트 루트 616 9月 23 11 : 34 node01.pub [@ 루트의 node03의 스푸핑] # 고양이 id_dsa.pub >>의 authorized_keys
node03 node04 노드와 이름의 비밀 키 문제
[루트 @의 node03의 스푸핑] # scp를 id_dsa.pub node04 :`pwd`에 / node03.pub
에 추가 명령 노드를 수행 한 후
[루트 @의 node04의 스푸핑] # 고양이 node03.pub >> authorized_keys에를
같은 node04 및 node03 같은 명령 및 Node03 발행 자신의 비밀 키 문서 및 node04 파일 추가 서류 03 키를 확인하기 위해 자신의
4, 클러스터 단계를 시작합니다
요약 :
시작 node01 : 1 개 사육사 2 HDFS (사용하지 않는 스크립트가 있습니다 시작 - 모든) 시작 - dfs.sh 윈와 NN2가 시작되지 않는 경우, 수동 node07 시작했다, node06이 필요합니다 하둡 - 네임 노드를 시작 daemon.sh 3 시작 - yarn.sh (nodemanager 시작) 4 노드 03에서 04는 각각 스크립트를 실행 : 원사 -이 ResourceManager에를 시작 daemon.sh IP : UI를 방문 8088 정지 : : node01 STOP 동작 - dfs.sh STOP : node01 - (중지 yarn.sh를 nodemanager) node03, node04 : 원사 -daemon.sh ResourceManager에 정지 (정지는 ResourceManager)
먼저 시작 ZK 클러스터, 명령 zkServer.sh 시작
씨는 HDFS의 기초이기 때문에, 제 HDFS 명령을 시작 기본 노드이다 start-dfs.sh
HDFS 클러스터 시작 :
기본 노드에서 노드 관리자를 시작,이 프로세스는 노드 데이터 노드의 각에서 시작됩니다
[루트 @의 node01의 하둡] # start-yarn.sh
시작되지 않는 언급 된, 노드는 두 개의 분리 된 ResourceManager에 그것을 시작으로 이동 구성해야
[루트 @의 node03의 스푸핑] #의 원사 -은 ResourceManager에 시작 daemon.sh 로깅, ResourceManager에 개시 / 옵션 / SXT / hadoop- 2.6 . 5 / 로그 / 실 루트 - ResourceManager에-node03. 아웃
[루트 @의 node04의 스푸핑] #의 원사 -은 ResourceManager에 시작 daemon.sh 로깅, ResourceManager에 개시 / 옵션 / SXT / hadoop- 2.6 . 5 / 로그 / 실 루트 - ResourceManager에-node04. 아웃
SS -nal 명령에 의해 후 8088 포트가 기본 통신 포트 원사 및 브라우저 보려면,
3888 선거 ZK 2888 내부 클러스터 통신에 사용되는 포트, 사용되는 포트 ZK 클러스터 메커니즘, 2181 싱글 포트 서버 및 클라이언트 통신입니다
브라우저 액세스 사
의 컴퓨팅 파워를 사용하려면 :
먼저 자신을 생성하고 파일을 업로드
[루트 @의 node01는 hadoop- 2.6 . 5 ] # 에 대한 I 의 서열 ' 100000 '; 할 메아리 " 안녕하세요 SXT의 $의 난 " >> TEST.TXT을, 완료
[루트 @의 node01 소프트웨어] # HDFS DFS -D dfs.blocksize = 1048576 저것 집어 넣어있는 test.txt
컴퓨팅 기능 처리의 용도
자신의 경로 하둡 설치를 찾으려면
CD / 옵션 / SXT / hadoop- 2.6 . 5 / 주 / 하둡 / 맵리 듀스
TEST.TXT 단어로 계산
[루트 @의 node01 맵리 듀스] #에 하둡 항아리 하둡의 MapReduce examples-- 2.6 . 5 .JAR 단어 수 /test.txt / 단어 수
당신은 계산 과정의 스크롤 바의 진행 상황을 볼 수 있습니다
배경 실행 리눅스 명령 줄
지도 작업을 줄일 첫 번째 작업 실행을 실행
브라우저 측 관찰 계산이 완료되었습니다
명령 줄은 완료 현상을 볼 수
심장 기다리는 완료 후에는 명령 행에 명령 할 수있다
보기 파일 HDFS
- 고양이 / 파일보기 설문 조사 결과 DFS HDFS를
HDFS DFS - 고양이 / 단어 수 / 부품-R- 00000
결과
기본 기능의 씨 완전한 계산! !