Hadoop学习之Hadoop集群安装

基本步骤·

1. 安装JDK，配置JDK环境变量
2. 安装Hadoop，配置Hadoop环境变量，配置Hadoop
3. 组织并在集群中分发文件

其它要求

1. 集群中的计算机在时间上要同步，系统时间不能差太多（秒级），如果设置时间后重启时间又不准确了（主板电池老化），可以启用NTP（Network Time Protocol网络时间协议）服务解决。
2. 集群中的计算机在网络上能够相互访问
   1. 全部实现免密码SSH访问（可以统一密钥对）
   2. 全部实现Hosts解析
   3. 全部关闭防火墙
   4. 固定IP，要规划好IP地址和主机名
   5. 虚拟机的网络使用桥接模式（如果在同一台物理机内的虚拟机间搭集群可以用NAT模式）

网络规划

1. 规划namenode主机名与ip
2. 规划datanode主机名与ip

安装Linux

1. 注意设置网络（安装过程中设置主机名、IP等）

2. 注意设置时间（安装过程中设置网络时间同步）

关闭防火墙

1. 关闭防火墙                    systemctl stop firewalld

2. 禁止防火墙开机启动      systemctl disable firewalld

    3.  查看防火墙状态                firewall-cmd --state

安装JDK

1.  检查是否已安装JDK，java -version
2. 下载想要安装的JDK版本，把安装包放在linux指定的文件夹下，如/home/jdk-7u71-linux-x64.tar.gz
3. 解压jdk-7u71-linux-x64.tar.gz
4. 移到相应的位置mv jdk1.7.0_71 /usr/local/
5. 备份系统环境变量cp /etc/profile /home/mj/

6. 编辑系统环境变量   vi /etc/profile

   加入内容如下：

   export JAVA_HOME=/usr/local/jdk1.7.0_71

   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

   export PATH=$JAVA_HOME/bin:$PATH

7. 加载刚设置的变量source /etc/profile

8. 测试是否安装成功

   输入 java -version 然后会显示jdk的版本信息等

 安装Hadoop

1. 下载想要安装的Hadoop版本，把安装包放在linux指定的文件夹下，如/home/hadoop-2.7.4.tar.gz 
2. 解压tar -xzf hadoop-2.7.4.tar.gz 
3. 移动到相应的位置 mv hadoop-2..7.4 /home/hadoop

4. 打开hadoop-evn.sh指定JDK位置

         # The java implementation to use.

        export JAVA_HOME=JDK位置

5.  

   打开core-site.xml指定NameNode

           <property>

                   <name>fs.defaultFS</name>

                   <value>hdfs://master:9000</value>

          </property>

          <property>

                  <name>hadoop.tmp.dir</name>

                  <value>/app/hadoop/tmp</value>

                  <description>Parent directory for other temporary directories.</description>

           </property>

6.  

   打开hdfs-site.xml指定SecondaryNameNode

           <property>

                   <name>dfs.namenode.secondary.http-address</name>

                   <value>hdfs://master:50090</value>

           </property>

           <property>

                  <name>dfs.namenode.name.dir</name>

                  <value>file:/home/hadoop/tmp/dfs/name</value>

           </property>

           <property>

                   <name>dfs.datanode.data.dir</name>

                   <value>file:/home/hadoop/tmp/dfs/data</value>

          </property>

          <property>

                 <name>dfs.datanode.max.xcievers</name>

                 <value>16000</value>

                 <description>增大xcievers个数</description>

           </property>

           注：以上只配置了HDFS，MapReduce等配置项随后使用时再添加