최근 몇 년 동안, 불에 대용량 데이터에, 나는 빅 데이터 화재, 좋은 일자리, 높은 임금을 생각합니다. . . . . . . 대형 데이터 초보자로서 다음, 작업을 변경하고자하는 많은 사람들이 빅 데이터의 방향, 기술 학교, 다음, 이러한 이유는 빅 데이터 방향을 생각하는이 손실 된 경우입니다 라인의 어떤 종류의 수 학습을 가고 싶어 난 당신이 관심이 무엇인가, 당신의 직업은 컴퓨터 / 소프트웨어, 무엇을 묻고 싶다? 컴퓨터 전문가는 운영 체제, 하드웨어, 네트워크, 서버에 관심이 있습니까? 전문 소프트웨어, 소프트웨어 개발, 프로그래밍, 관심있는 코드를 작성 있습니까? 또는 데이터와 숫자에 관심이 수학, 통계,. .
사실, 이것은 당신이 / 최적화 / 운영 및 유지 보수 / 모니터링, 빅 데이터 개발 / 디자인 / 아키텍처, 데이터 분석 / 광산을 구축하는 세 가지 빅 데이터 플랫폼을 말하고 싶은 방향이다. 좋은 전망, 더 많은 돈이다, 쉽게하는 부탁하지 마십시오.
나는 4V가 빅 데이터 기능을 대중화하고 싶습니다 :
대형 데이터의 양 TB-> PB
많은 종류의 데이터, 구조화 된, 비 구조화 된 텍스트, 로그, 비디오, 이미지, 위치 등;
빠른 출토 학습 데이터 분석 및 기계를 통해 높은 상업적 가치,하지만 필요한 데이터의 엄청난 양의 상단에있는 값;
높은 처리 적시성, 더 이상 오프라인 계산 그들에 국한 대용량 데이터 처리 요구 사항.
데이터의 기술적 측면에 대한 몇 가지 큰 서비스 프레임 워크이기 때문에 오늘, 오픈 소스 빅 데이터 프레임 워크는, 더 강한, 내가 인용 한 :
파일 저장 : 하둡 HDFS, 타키온, KFS
오프라인 계산 : 하둡 맵리 듀스, 불꽃
스트리밍, 실시간 계산 : 폭풍, 불꽃 스트리밍, S4, 헤론
KV, NOSQL 데이터베이스 : HBase를, 레디 스, MongoDB를
자원 관리 : 원사, 메소
수로, 스크, Logstash, 키바 : 수집 로그
메시지 시스템 : 카프카, StormMQ, ZeroMQ, RabbitMQ
분석 : 하이브, 임팔라, 돼지, 프레스토, 피닉스, SparkSQL, 드릴, FLINK, 기린, 드루이드
분산 조정 서비스 : 사육사
클러스터 관리 및 모니터링 : Ambari, 신경절, Nagios는, 클라우 데라 매니저
데이터 마이닝, 기계 학습 : 두싯, MLLib 불꽃
데이터 동기화 : Sqoop을
작업 스케줄링 : Oozie
A [무료] 빅 데이터는 과정을 살고 매일 밤에 빅 데이터 공유 학습 자료 그룹 142,974,151, 20시 10분 초점 : 너무 많은 물건을 시작하는 방법, 학습 방법, 걱정하지 마세요, QQ 그룹이 방법이 플레이하는 당신에게 빅 데이터 분석, 대용량 데이터 프로그래밍, 대규모 데이터웨어 하우징, 빅 데이터의 경우, 인공 지능, 데이터 마이닝 순수 건조 제품 점유율, 환영 초보자 및 고급 주니어 파트너입니다.