记录第一次搭建hadoop(hadoop2.9.2版本by虚拟机CentOS-6.5)伪分布式集群

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/KobeSacre/article/details/100585137

1. 前期准备.
   1. 对虚拟机的网络和ip进行设置
   2. 使用root用户进入操作系统
   3. 关闭防火墙-
      1. chkconfig iptables off
   4. 禁用selinux
      1. vim /etc/sysconfig/selinux
      2. 将SELINUX设置为disabled
   5. 修改主机名
      1. vim /etc/sysconfig/network
      2. HOSTNAME=hadoop
   6. 修改机名与ip的对应关系
      1. vim /etc/hosts
      2. 新开一行并添加 格式为（IP     机名）
   7. 重启
      1. reboot
   8. ssh免密钥登录
      1. ssh-keygen -t rsa（之后连续按回车）
      2. ssh-copy-id ip地址（之后连续按回车）
   9. 创建不同的目录
      1. cd /home
      2. rm -rf hadoop
      3. mkdir data softwares tools
      4. cd softwares
      5. mkdir java8
   10. 配置JDK
       1. 安装文件导入软件
          1. yum -y install lrzsz
          2. cd /home/tools
          3. 选中JDK1.8并添加
       2. 将添加的JDK解压到softwares/java8
          1. tar -zxf JDK -C ../sortwares/java8
       3. cd ../softwares/java8
       4. pwd 将路径进行复制
       5. vim /etc/profile
       6. 在最后一行添加
          1. export JAVA_HOME=之前复制的java8路径
          2. export PATH=$PATH:$JAVA_HOME/bin
       7. source /etc/profile
       8. java -version
   11. 配置 apache-maven(3.6.1) + protobuf(3.1.0) + findbugs(3.0.1)
       1. 返回到tools目录下
          1. cd /home/tools
       2. 上传上述三个压缩包
          1. rz
       3. 对压缩包进行解压
          1. tar -zxf xxxx -C ../softwares
       4. cd ../softwares
       5. apache-maven和findbugs配置过程和JDK相同
       6. 配置protobuf
          1. 进入到该软件目录下
          2. 运行 ./configure 进行查看
          3. yum -y install automake libtool cmake ncurses_devel openssl-devel lzo-devel zlib-devel gcc gcc-c++
          4. 再一次运行 ./configure
          5. make install 等待安装完成
2. 配置文件
   1. 用notepad++与服务器建立连接
   2. 在hadoop-env.sh将export JAVA_HOME设置为/home/softwares/java8
   3. 在core-site.xml添加
      1. <property><name>fs.defaultFS</name><value>hdfs://hadoop:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/softwares/hadoop-2.9.2/data/tmp</value></property>
   4. 在hdfs-site.xml添加
      1. <property><name>dfs.replication</name><value>1</value></property>
   5. 在hadoop目录下创建一个data/tmp文件夹
      1. mkdir -p data/tmp
   6. 格式化文件系统
      1. bin/hdfs namenode -format
   7. 运行文件系统
      1. sbin/start-dfs.sh
   8. 配置yarn
      1. 修改mapred-site.xml
         1. <property><name>mapreduce.framework.name</name><value>yarn</value></property>
      2. 修改yarn-site.xml

         1. <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
         2. ​​​​​​​启动yarn
            1. ​​​​​​​sbin/start-yarn.sh​​​​​​​