hdfs
简单说是分布式的文件系统
一、hdfs的角色划分
client:分block
NameNode：是Master节点。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；
SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。
DataNode：Slave节点，干活的。负责存储client发来的数据块block；执行数据块的读写操作。
fsimage:元数据镜像文件（文件系统的目录树。）
edits：元数据的操作日志（针对文件系统做的修改操作记录）
fsimage+edits 类比数据库中的数据表和日志表
namenode内存中存储的是fsimage+edits。
SecondaryNameNode默认1小时，从namenode上，获取fsimage和edits来进行合并，然后再发送给namenode。减少namenode的工作量。
二、启动过程
http://blog.csdn.net/amber_amber/article/details/38268407
1、namenode
1》Server成员的构造(用于RCP)
2》FSNameSystem的构造
核心数据结构包括：
l blocksMap：map，保存数据块block相关的映射关系，包括文件与块，块与datanode的映射等。
l curruptReplicasMap：保存所有损坏的块，所有副本都损坏。
l datanodeMap：曾近连接过的所有的datanode，是全集。
l recentInvalidateSets：最近失效的block。
l excessReplicateMap：机器与机器上多余的block的映射，这些block等待被删除。
l Heartbeats：当前发送心跳包的datanode，也就是alive的datanode。
FSDirectory对象:这里存放着文件系统的层次结构。
过程：初始化blocksMap等数据结构，加载fsimage文件到类FSImage中，读取edits文件，利用fsimage和edits构造文件系统层次结构。
3》启动后台守护进程
l PendingReplicaitonBlocks$PendingReplicationMonitor： 监控block的copy过程
l FSNamesystem$HeartbeatMonitor，心跳包的检测
l FSNamesystem$ReplicationMonitor： 监控复本数量，如果不足，就copy。
l LeaseManager$Monitor：控制写请求，文件不能同时多人写。
l DecommissionManager$Monitor：处理数据节点的退役
2、启动datanode
1》获取并设置各种配置信息，整理自己的block信息并进行封装
2》从namenode获取namespaceID, version以及StorageID等信息
3》datanode向namenode注册。
向namenode发送服务地址，信息查询端口，客户端访问端口以及datanodeID等，还包括block_report块数据；FSNameSystem先验证该datanode是否被允许挂载（通过dfs.hosts列表验证），然后把datanode数据映射到元数据中，这里主要是获取block_report块与datanode的映射关系，添加到BlocksMap中[hx1] ，然后再把这个datanode添加到heartsbeats中进行监控。
4》启动datanode线程。周期性向namenode发送block_Report和heartbeats，同时接受namenode的指令。
3、Secondary namenode的启动
注册到namenode，并且从namenode同步当前的fsimage，edits等文件信息；启动secondary namenode上用于轮训的进程，定期执行检查点的创建操作。
三、写操作的流程
http://www.cnblogs.com/laov/p/3434917.html
1、client通知namenode，获得datanodes
2、具体写每个block和package（内部复制）
3、写别的block
4、通知nn结束