Hadoop3.1.1架构体系——设计原理阐述与Client源码图文详解 : 总览

一.设计原理

  1.Hadoop架构: 流水线(PipeLine)  

  2.Hadoop架构: HDFS中数据块的状态及其切换过程,GS与BGS

  3.Hadoop架构: 关于Recovery (Lease Recovery , Block Recovery, PipeLine Recovery)

二.源码详解

  1. Hadoop3.1.1源码Client详解 : 写入准备-RPC调用与流的建立

  2. Hadoop3.1.1源码Client详解 : 入队前数据写入

  3. 入队后消息系统运作

    1.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 主干 

      1.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 处理异常

      2.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 流水线架设 : 流水线恢复/append  

      3.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之DataStreamer(Packet发送) : 流水线架设 : 创建块

    2.Hadoop3.1.1源码Client详解 : Packet入队后消息系统运作之ResponseProcessor(ACK接收)

猜你喜欢

转载自www.cnblogs.com/lqlqlq/p/12303591.html
今日推荐