Hadoop的伪分布式安装详细步骤

1. 安装JDK
2. 关闭防火墙
   service iptables stop
   chkconfig iptables off
3. 关闭云主机的开机初始化
   service cloud-init stop
   chkconfig cloud-init off
   service cloud-init-local stop
   chkconfig cloud-init-local off
4. 修改主机名
   vim /etc/sysconfig/network
   修改HOSTNAME的值，例如将HOSTNAME修改为hadoop01
   改完之后，保存退出，重新生效
   source /etc/sysconfig/network
5. 将主机名和IP进行映射
   vim /etc/hosts
   添加IP 主机名
   保存退出
6. 重启
   reboot
7. 免密登录
   产生密钥：ssh-keygen — 一路回车，不需要输入任何数据
   拷贝公钥：ssh-copy-id root@hadoop01
   测试：ssh hadoop01 回车之后如果不需要任何密码，说明免密成功，那么输入logout
8. 下载Hadoop的安装包
   cd /home/software/
   wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/hadoop-2.7.5.tar.gz
9. 解压
   tar -xvf hadoop-2.7.5.tar.gz
10. 进入子目录
    cd hadoop-2.7.5/etc/hadoop/
11. 编辑
    vim hadoop-env.sh
    修改属性
    export JAVA_HOME=/home/presoftware/jdk1.8
    export HADOOP_CONF_DIR=/home/software/hadoop-2.7.5/etc/hadoop
    保存退出，重新生效
    source hadoop-env.sh
12. 编辑
    vim core-site.xml
    添加
    
    fs.defaultFS
    hdfs://hadoop01:9000
    
    
    hadoop.tmp.dir
    /home/software/hadoop-2.7.5/tmp
    
    保存退出
13. 编辑
    vim hdfs-site.xml
    添加
    
    dfs.replication
    1
    
    保存退出
14. 编辑
    cp mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    添加
    
    mapreduce.framework.name
    yarn
    
    保存退出
15. 编辑
    vim yarn-site.xml
    添加
    
    yarn.resourcemanager.hostname
    hadoop01
    
    
    yarn.nodemanager.aux-services
    mapreduce_shuffle
    
    保存退出
16. 编辑
    vim slaves
    删除localhost，添加当前的主机名
    保存退出
17. 修改环境变量
    vim /etc/profile
    在文件尾部追加
    export HADOOP_HOME=/home/software/hadoop-2.7.5
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    保存退出，重新生效
    source /etc/profile
18. 格式化Hadoop
    hadoop namenode -format
    如果出现Storage directory /home/software/hadoop-2.7.5/tmp/dfs/name has been successfully formatted表示格式化成功
19. 启动Hadoop
    start-all.sh
20. 通过jps查看进程
    Jps
    NameNode 端口：50070
    DataNode 端口：50075
    SecondaryNameNode 端口：50090
    ResourceManager 端口：8088
    NodeManager

常见错误：
1. 如果出现Name or Service not known或者Unknown Host，那么说明主机名配置错误，检查/etc/hosts文件
2. 如果出现Command not found，那么说明环境变量配置错误，或者配置完成之后没有source
3. 如果缺少了NameNode/DataNode/SecondaryNameNode，那么检查core-site.xml/hdfs-site.xml是否配置正确
4. 如果缺少了ResourceManager/NodeManager，那么检查mapred-site.xml/yarn-site.xml是否配置正确