05-HDFS集群

集群环境配置说明：

hdfs111（192.168.1.111）----主机，namenode

hdfs112（192.168.1.111）---- datanode

hdfs113（192.168.1.111）---- datanode

 准备工作

  启动虚拟机主机192.168.1.111，执行以下操作：

1. 关闭防火墙
2. 设置主机名
3. 配置ssh免密登录
4. 安装JDK

搭建HDFS集群

1. 克隆虚拟机

2. 修改配置文件(进入目录：cd bigdata/software/hadoop-2.8.4/etc/hadoop)

          1) 修改hadoop-env.sh
              

           2) 修改core-site.xml 

<!--配置HDFS主节点的地址，就是NameNode的地址-->
<!--9000是RPC通信的端口-->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hdfs111:9000</value>
    </property>
</configuration>

         3) 修改hdfs-site.xml

//配置元数据namenode和数据datanode存储位置
<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/root/bigdata/hdfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/root/bigdata/hdfs/data</value>
        </property>
</configuration>

  3.配置hadoop环境变量

            vi /etc/profile      编辑配置文件，新增hadoop环境变量

                   export JAVA_HOME=/root/bigdata/software/jdk1.8.0_141

                   export HADOOP_HOME=/root/bigdata/software/hadoop-2.8.4

                   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

            按Esc键，输入:wq 退出保存

            source /etc/profile 使环境变量生效

    4.格式化namenode        

            hadoop namenode -format   格式化namenode，自动生成元数据存储目录

            

    5.分发hadoop到其他虚拟机

            1）分发hadoop包

                  scp -r ~/bigdata/software/hadoop-2.8.4/ hdfs112:~/bigdata/software/

                  scp -r ~/bigdata/software/hadoop-2.8.4/ hdfs113:~/bigdata/software/

            2）分发hadoop环境变量配置

                  scp -r /etc/profile hdfs112:/etc

                  scp -r /etc/profile hdfs113:/etc

                在hdfs112和hdfs113上执行：  source  /etc/profile  使环境变量生效

    6.启动namenode和datanode

           1)启动namenode

                  hadoop-daemon.sh start namenode

                    

          2)启动datanode

                 hadoop-daemon.sh start datanode

                

          3）访问namenode提供的web端口：50070

                http://192.168.1.111:50070    

                

                  

            到这里，HDFS集群就搭建完成了，但是每次都要挨个启动namenode和datanode，不太方便。

可以采用自动批量的启动脚本实现批量启动。