스파크 소스 코드 분석 시리즈

다음은 기사의 시리즈 중 일부는 지속적으로 업데이트, 소스 코드 분석 요약을 촉발입니다 ......

스파크 RPC

다섯 개 --Spark RPC는 NettyRpcEnv의 불꽃 소스 코드 분석을 분석

여섯 --Spark RPC는 소스 코드 분석 및받은 편지함, 보낼 편지함 분석의 디스패처 불꽃을 분석

의 RpcEndPoint 및 RpcEndPointRef 스파크 소스 코드 분석의 일곱 --Spark RPC 프로파일 분석

TransportContext 팔 개 --Spark RPC 분석 및 스파크 소스 코드 분석 TransportClientFactory의 분석

텐 --Spark RPC는 TransportResponseHandler 스파크 TransportRequestHandler 분석 TransportChannelHandler의 소스 코드 분석을 분석

점화 소스 코드 분석 아홉 개 --Spark RPC 분석 StreamManager 및 RpcHandler

소스 코드 분석 열한 --Spark RPC TransportClient 스파크 분석 TransportServer 분석

열두 --Spark RPC는 스파크 점화 RPC 요약의 소스 코드 분석을 분석

스파크 저장

스파크 소스 코드 분석 13 - SerializerManager 분석

십사 스파크 소스 코드 분석 - 방송 방법을 달성하는 것입니다?

스파크 메모리 관리 분석 -의 다섯 불꽃 소스 코드 분석

스파크 메모리 저장 분석 -의 여섯 점화 소스 코드 분석

스파크 디스크 스토리지 분석 -의 세븐틴 불꽃 소스 코드 분석

스파크 스토리지 시스템 분석 -의 여덟 불꽃 소스 코드 분석

스파크 스트리밍

수신 한 스파크 스트리밍 카프카 메시지 - 방법 두 가지를 수신

두 스파크 스트리밍 카프카는 메시지를 받았습니다 - 수신기 드라이버의 끝에서 운영

메시지 카프카 스파크 스트리밍 터를 수신 - 인출하는 방법 요청 처리 카프카 브로커

메시지를 스트리밍 개의 불꽃은 카프카를 받았다 - 근로자의 수신기에서 실행

카프카의 다섯 불꽃 스트리밍 수신 뉴스 - 스파크 스트리밍과 카프카의 도킹 요약

스파크 작업 스케줄링 및 계산

하나의 불꽃 소스 코드 분석 - 의존성 RDD 네 가지 종류

두의 불꽃 소스 코드 분석 - 초기화 과정 SparkContext

세 스파크 소스 코드 분석 - LiveListenerBus 소개

TaskScheduler 생성 및 시작 과정 - 네의 불꽃 소스 코드 분석

아홉 스파크 소스 코드 분석 - DAG와 스테이지 부문의 생성

무대를 제출 -의 스물 불꽃 소스 코드 분석

 

추천

출처www.cnblogs.com/johnny666888/p/11259944.html