하둡의 장점
HDFS 정의
HDFS의 장점
하이브는 무엇인가
하이브 : 통계를위한 페이스 북 오픈 소스 로그의 대규모 구조를 해결하기 위해.
하이브는 하둡 데이터웨어 하우징 툴을 기반으로, 당신은 테이블에 데이터 파일의 구조를 매핑 및 쿼리 SQL-처럼 제공 할 수 있습니다.
본질적 : HQL은 MapReduce의 절차에 변환
데이터 기억 처리 하이브 HDFS 1)
2 하이브 분석 데이터 기본 구현)이다 MapReduce의
프로그램 실행 원사 실행 3)
하이브의 장점과 단점
장점
SQL 구문) 사용하기 쉬운 신속한 개발 (단순를 제공 할 수있는 능력을 사용하여 1) 기반의 사용자 인터페이스를 제공합니다.
2), 맵리 듀스 쓰기 개발자를위한 비용을 학습 줄이기 위해 피.
하이브 공통 데이터 분석에 사용 된 적은 실시간 애플리케이션을 요구하므로. 3) 수행 하이브 지연은 상대적으로 높다.
4) 하이브 큰 데이터 처리의 장점 하이브 실행 지연이 상대적으로 높기 때문에, 데이터를 더 작은 장점을 처리하지 않은 것.
5) 사용자 정의 함수에 대한 하이브 지원, 사용자가 자신의 필요에 따라 자신의 기능을 구현할 수 있습니다.
단점
1. HQL 하이브를 표현하는 능력을 제한
(1) 반복 알고리즘을 표현할 수 없다
(2) 데이터 마이닝 인해 MapReduce의 데이터 처리의 흐름을 좋지 않다 알고리즘의 높은 효율을 달성 할 수 없다.
2. 하이브 효율성이 상대적으로 낮다
. (1) 하이브 맵리 듀스 작업이 자동으로 생성, 일반적으로 충분한 정보
(2) 하이브 튜닝 더 어려운, 거친
맵리 듀스 정의
맵리 듀스의 장점과 단점
수로 정의
수로 클라우 데라는 고 가용성, 신뢰성, 분산 된 대규모 로그 수집, 집계 및 전송 시스템에 제공됩니다. 수조 플로우 기반 아키텍처, 유연하고 간단한.
수로 장점
1.2 수로 장점
1. 방법은 임의의 저장과 통합 될 수있다.
입력 데이터 레이트는 라이트 레이트 저장을 위해보다 큰 2는 플룸은 감압 HDFS를 버퍼링된다.
3.flume 트랜잭션 기반 채널은 두 개의 트랜잭션 모델 (송신기 + 수신기)를 사용하여 메시지를 확실하게 전달되도록.
사육사 정의
사육사는 주로 네트워크가 본질적으로 분산 ZooKee 영역이있을 때 문제를 방지하는 방법 더러운 읽기에 의한 동일한 데이터 사이에서 작동하는 등 클러스터의 분산 응용 시스템의 일관성 문제를 해결하는 데 사용되는 분산 조정 서비스 선다 오픈 소스이며, 작은 파일 저장 방법 트리 기반 파일 시스템, 데이터 저장과 유사한 시스템 및 유지 관리 및 데이터 상태를 모니터링하여 저장된 데이터의 변경 사항의 상태를 모니터링하는 데 사용되는 트리의 노드를 효과적으로 관리 할 수 있습니다 통합 네이밍 서비스 분산 구성 관리, 분산 메시지 큐 분산 잠금 분산 조정 기능 : 예컨대 기반 클러스터 관리 데이터를 얻을 수있는 변화.
사육사 특징
