이전 또한 원사의 이야기 하둡 시스템 리소스 예약 플랫폼입니다. 따라서, 전체 패키지 내부의 하둡은 그 성질이있다. 여기에서 우리는 설정에 대한 간략한 소개에 있으며 클러스터 실을 구성합니다.
모든 원사 우선 두 가지 핵심 역할이 자원 관리자 및 노드 관리자를.
리소스 관리자는 사용자을 제출에게 분산 컴퓨팅 프로그램 수신을 담당 / 작업 및 자원, 관리, 각각의 모니터 분할 노드 관리자를 .
노드 관리자는 수신 resoResource 관리자 를 통해 할당 및 컴퓨팅.
계산 절차는 분류 될 것이다 인기 포인트 항아리 패키지 및 각 분배 노드 관리자는 각각되도록, 상기 이동 관리 노드 코드 실행 같지만, 데이터 소스와 동일하지 않을 수있다.
클러스터 구성 :
노드 매니저는 물리적으로 함께 데이터 노드 쉽게 데이터를 읽을 함께 배치
원사 소프트웨어 하둡은 , 단지 내부에 존재하는 HDFS , 우리는 단지 그것을 구성하고 다음을 시작해야
상의 각 기계 등 / 하둡 / 원사의 site.xml 구성
<특성> <! - 配置redource 관리자 ->
<이름> yarn.resourcemanager.hostname </ 이름>
<값> nijunyang68 </ 값>
</ 속성>
구성하기 전에하기 때문에 HDFS 클러스터 IP는 노예가 그것으로 구성되었을 때 클러스터, 이제 만에 스크립트를 실행하는 키가 필요합니다 : start-yarn.sh를
시작하는 기계에 있습니다 위의 머신이 스크립트 요구 사항의 구현은 구성에서 실행할 수 있도록 redource 관리자, 구성 redource 매니저 클러스터 기계를 말한다 바로 위에, 거기에 스크립트를 실행합니다. 로그에서 볼 수있는 기계에서 자원 관리자는 노드 관리자가 위의 다른 컴퓨터에서 활성화되고 시작됩니다.
기본 8088 포트는 웹에서 페이지를 볼 수 있습니다 원사 클러스터 정보
그는 디스플레이 메모리 크기 위의 조금 우리가 구성되지 않기 때문에, 기본, 내 컴퓨터, 실제로 가상 머신에만 총이 아닌 실제 값 사용, 잘못된 말했다 1G 의 메모리를
구성 세부 정보 : https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
<특성>
<이름> yarn.nodemanager.resource.memory-MB </ 이름>
<값> 1024 </ 값>
</ 속성>
최소 메모리 할당 제한이 1024 그렇지 않으면, 클러스터를 시작할 수 없습니다가.
또한 감사는하지 실제 CPU의 코어 수, 내 가상 머신 만이 하나의 I 메모리의 경우 평균 여기에 핵을 200M은 현재 작업이 필요가 100m 메모리를 할 수 있도록,이 기계가 나는 두 가지 작업을 할 수 있도록 감사는에 구성 이 너무 오래 작업 만 플레이로 구성된 경우. 내가 그 말은 CPU 핵 생각을하지만 난 남자입니다 100M는 , 내가 200 메모리 두 가지 작업을 할 수있다, 그 다음 내 CPU 이 두 작업에 대한 평균 전력을 계산.
<특성>
<이름> yarn.nodemanager.resource.cpu-vcores </ 이름>
<값> 2 </ 값>
</ 속성>
지금까지 실 클러스터가 완료 설정, 연속 대기 작업을하고 실행 던져 맵리 듀스.