참조 HDP2.4 설치 (V)를 : 클러스터 및 구성 요소를 설치 스파크 버전 하둡 실의 작동 모드에 따라 1.6 설치 구성, HBase를의 설치 기반, 자동 점화 ambari에 의해 설치된 클러스터에서 하둡 클러스터를.
내용 :
- 스파크 클러스터 설치
- 구성 매개 변수
- 테스트 및 인증
클러스터 설치 스파크 :
- 같이 ambari - 서비스 인터페이스에서, "서비스 추가"를 선택합니다 :
- 팝업에서 인터페이스는 불꽃 서비스로 선택 :
- "다음", 배포 호스트 노드, 우리는 사전 하둡과 HBase를 클러스터 설치가 있기 때문에, 당신은 유통 스파크 역사 서버 구성 마법사를 누를 수 있습니다
- 메일 클라이언트, 아래 그림과 같이 :
- 올바른 상태에 따라 설치를 게시
구성 매개 변수 :
- 설치가 완료되면, HDFS와 원사를 다시 시작
- 제대로 시작되지 않는 중고품 서버를 스파크, 불꽃 서비스를 확인, 다음과 같이 로그는 다음과 같습니다
코드보기
-
해결책 : 조절 실 파라미터 설정 yarn.nodemanager.resource.memory-MB, yarn.scheduler.maximum 할당-MB
-
yarn.nodemanager.resource.memory-MB
YARN 노드가 디폴트 값을 설정하는 본 시스템 hdp2-3 메모리 I 4G는 512 인 것을 알 수있다 디폴트 8192 (MB)은 물리적 메모리의 양을 사용할 나타내고 크기 이하로 조정
-
yarn.scheduler.maximum 할당-MB
기본값을 적용 할 수있는 하나의 작업에 물리적 메모리 최대의 양은 8192 (MB)입니다.
-
보통 다음과 후, 구성, 구성에 의존하는 서비스를 다시 시작을 저장합니다 :
-
시험 검증 :
- 하나가 불꽃 클라이언트 머신 (hdp4)를 장착에서, 디렉토리는 설치 디렉토리의 bin 디렉토리를 촉발하기
- 명령 : ./spark-sql
- SQL 명령 : 쇼 데이터베이스; 이하
- 다음과 같이 역사를보기 :
