좁은 의존
부모 RDD 및 RDD 서브 파티션 간의 관계 하나에 하나 또는 서브 파티션 RDD 및 RDD 자식 관계가 많은 파티션으로 여기서 분할은 경우에 부모 RDD RDD 부모에 대응.
이되지 않습니다 셔플 생산 , 하는 RDD에 부모 파티션있는 용도로RDD의 파티션을.
또는 다 대일
그것은 유일한 자식으로 이해 될 수있다
와이드 의존
부모 RDD RDD과 파티션 사이의 관계는 서브 많은 것이다.
윌 셔플 생산 의 RDD 내부의 아이에게 RDD 부모의 다른 파티션에 데이터 파티션을.
많은
그것은 다시 반송 할 수로 이해 될 수있다
일반적인 폭 의존
좁은 의존 : 지도 flatMap mapPartitions를 필터링
宽依赖: reduceByKey grupByKey combineByKey이 sortByKey가 가입 (NO copartition)
단계
스파크 8 스 RDD의 폼 간의 의존성 DAG 방향성 비순환 그래프, DAG는 제출된다 DAGScheduler , DAGScheduler는 것 DAG의 분할 의존적 인 다수의 스테이지를
사단은 무대 의 모든 생각을
후면에서 진행되고, 그 폭이 종속성으로 나누어 분리가 발생하는 단계 ;이 좁은 발생 의존한다 RDD가 받는 추가 단계 의.
