A는 벤치 마크에 대해
벤치 마크 그것은 오랫동안 컴퓨터 분야에 걸쳐 적용하고, 성능 시험을 평가하는 방법입니다. 컴퓨터 응용 프로그램의 벤치 마크는 가장 성공적인 성능 테스트입니다
주요 시험 하중의 실행 시간, 전송 속도, 처리량, 자원 활용 등.
벤치 마크 성능 조정은 두 개의 무기 및 프로필 도구이다. 전체 시스템의 벤치 마크 압력 테스트 굴착 성능 상태 및 프로필 도구의 렌더링 시스템 극대화
작동 상태 및 성능, 사용자 친화적 인 진단 성능 문제 및 튜닝.
둘째, 벤치 마크의 조성
벤치 마크 코어 3 부를
1 데이터 세트
구조화 된 데이터 유형의 데이터에, 반 구조화 된 데이터 및 비정형. 대용량 데이터 환경에서 복합 데이터 유형은, 부하가 변화하기 때문에, 매우 큰 데이터 필요성 벤치 마크는
세 가지 유형의 데이터 및 대응하는 부하를 생성한다.
1) 데이터 구조 : 전통적인 관계형 데이터 모델 이차원 테이블 구조로 표현 될 수있다. 전형적인 장면 등 전력 거래 사업, 금융 시스템, 의료 HIS 데이터베이스, 정부 정보 시스템을 가지고
2) 반 구조화 된 데이터 : XML, HTML과 유사하고, 자체 설명, 혼합 함께 데이터 구조와 내용처럼. 교육 일반적인 응용 프로그램 시나리오 메일 시스템, 웹 검색 엔진 상점,
등 리소스 라이브러리, 파일 시스템, 학습, HBase를 다른 일반적인 키 값 저장 사용을 고려,
3) 비정형 데이터를 : 문서, 사진, 비디오 및 오디오의 모든 종류. 일반적인 응용 프로그램은 비디오 사이트, 사진 앨범, 비디오 트래픽 모니터링 등이다.
2, 워크로드
인터넷 분야 거대한 데이터, 사용자 용량, 빅 데이터 문제의 자연 토양. 부하는 다음의 설계 기준의 관점에서 이해 될 수있다
1) 입력 계산 집약적 다음 CPU 집약적 인 계산은 IO 집약적 컴퓨팅 네트워크 집약적 계산하는 단계;
2) 컴퓨팅 패러다임 다음 SQL 배치 흐를 계산, 연산, 기계 학습,
3)의 지연을 산출하는 온라인 계산 오프라인 계산 실시간 계산;
4) 응용 프로그램 : 검색 엔진, 소셜 네트워크, 전자 상거래, 위치, 미디어, 게임.
3, 측정
이 벤치 마크 성능이 과대 평가되는 무기 및 프로필 도구입니다. 전체 시스템의 벤치 마크 테스트 압력 굴삭 성능 상태, 최대 프레젠테이션 도구 프로필 시스템 중에
시스템 상태와 성능 지표를 실행하는 사용자 진단 성능 문제 및 조정을 용이하게한다.
1) 도구의 사용
아키텍처 수준에서) 반환 한, nmon을 다른 도구와 명령,
B)를 JVM 레벨 : btrace, jconsole를, JVisualVM, jmap는 , jstack을 다른 도구와 명령;
C) 스파크 레벨 : 웹 UI, 콘솔 로그 , 당신은 또한 성능 모니터링에 대한 인쇄 로그 스파크 소스를 수정할 수 있습니다.
2) 통계
밀도 부동 소수점 연산, 정수 연산 밀도, 인터럽트 명령, 캐시 적중률하는 TLB 미스; 측정의 관점에서) 아키텍처
B) 스파크 각도 측정 처리량 실행 시간과 시스템에서 : 작업 작업 실행 시간, 작업 처리량 단계 실행 시간, 스테이지 처리량 태스크 실행 시간, 작업 처리량
처리량,
시스템 자원 이용도 스파크 관점에서 C) : 지정된 기간에서 CPU 사용률, 지정된 시간에 메모리 사용률 지정된 시간에 디스크 사용량, 네트워크
지정된 기간에 네트워크 대역폭 사용률;
d) 확장의 측정에서 : 데이터 확장의 양, 데이터 확장 클러스터 노드 (스케일 아웃), 하나의 성능 향상 () 확장.
셋째, 벤치 마크의 사용
1, Hibench는 : 하둡 오픈 소스에 대한 인텔 벤치마킹 도구가 개발 한 사용자는 Github의 저장소 다운로드 갈 수
2, 버클리 BigDataBench : 대형 데이터베이스의 AMPLab 개발에 의한 스파크의 도입으로 테스트 도구, 공식 웹 사이트
3, 하둡 GridMix : 하둡은 널리 고전로드 테스트 도구 사용하기 쉬운 함께 제공으로 하둡은 벤치 마크와 함께 제공
4, Bigbench : 테라 데이타, 토론토 대학, InfoSizing, 오라클 개발, 디자인과 확장 된 연구의 값을 사용하여, 당신은 종이 볼 수 있습니다
에 대한 업계 표준 벤치 마크를 향하여 : Bigbench 빅 데이터 분석.
5, BigDataBenchmark : 중국 과학 아카데미의 공식 발표에 의해 개발 된
6, TPC-DS : 널리 하둡 제품 리뷰에 SQL에 사용
7. 기타 벤치 마크 : Malstone, 클라우드 하모니, YCSB , SWIM, LinkBench, DFSIO, 하이브 성능 벤치 마크 (파블로) 등
등
