hdfs原理详解

• hdfs概述
  • namenode
    管理了整个文件系统的元数据 （metadata）
    管理众多datanode
    对外提供服务的唯一入口
    rpc端口：9000 使用文件系统的端口 hdfs://node-1:9000
    http端口：50070 hdfs webui页面的端口 查看端口 http://node-1:50070
  • datanode
    负责具体数据块的存储
    定时需要向nn进行通信汇报
• dn汇报机制
  dn启动的时候 会去向nn进行注册 并且汇报自己持有哪些块信息
  接下来每隔一段时间进行如下的汇报
  每隔3秒 发送心跳 目的：报活
  每隔6小时 汇报自己持有的数据块

hdfs主从架构 两者各司其职 共同配合 对外提供大数据存储服务。

---

扩展：

• hadoop windows平台开发错误
  ERROR - Failed to locate the winutils binary in the hadoop binary path
  java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

    WARN - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  

  原因：软件运行需要操作系统的支持 当hadoop在windows平台进行数据交互（尤其是写数据的时候），需要一个软件winutils.exe根平台交互，此软件来自于hadoop源码在windows编译而成。
  解决方案：
  下载对应版本的hadoop源码
  在windows平台进行编译
  编译后在windows上配置环境变量
  HADOOP_HOME=C:\Work\soft\hadoop-2.7.4-windows
  path=;%HADOOP_HOME%\bin
  重启idea 使环境变量生效