hadoop伪分布式搭建（3.1.2版本）

hadoop伪分布式搭建（3.1.2版本）

请使用JDK8，否则会有错误！！！！

配置 core-site.xml文件时节点名要写hdfs://node01:9000，否则会遇到eclipse插件拒绝连接错误，并且插件设置的Host应该为node01

1. 安装JDK

   rpm -iv jdk-12.0.2_linux-x64_bin.rpm
   vi /etc/profile
   # 添加路径
   export JAVA_HOME=/usr/java/jdk-12.0.2
   export PATH=$PATH:$JAVA_HOME/bin
   

2. 安装ssh

   yum install ssh
   

3. 设置免密登录本机

   ssh-keygen -t dsa
   cd .ssh
   cat id_dsa.pub >> authorized_keys
   

4. 下载hadoop文件包并解压

   tar hadoop....tar.gz
   

5. 修改路径

   vi /etc/profile
   # 添加export HADOOP_HOME=/yourpath/hadooppath
   # 修改export PATH=$PATH:$JAVA_HOME/bin
   export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   

6. 修改配置文件：配置文件在hadoop目录中的etc/hadoop目录

   # 修改JAVA路径
   vi hadoop-env.sh
   # 修改JAVA_HOME=/usr/java/jdk-12.0.2
   # 在yarn-env.sh mapred-env.sh也加入JAVA_HOME=/usr/java/jdk-12.0.2
   
   vi core-site.xml
   # 加入
   <property>
               <name>fs.defaultFS</name>
   			 <value>hdfs://node01:9000</value>
    </property
    <property>
                   <name>hadoop.tmp.dir</name>
                   <value>/var/ihep/pseudo</value>
    </property>
   
   vi hdfs-site.xmll
    加入<property>
        <name>dfs.replication</name>
         <value>1</value>
       </property>
    修改从节点
   vi workers
    #将localhost改为node01(你的节点)
   vi hdfs-site.xml
    #加入 
   <property>
            <name>dfs.namenode.secondary.http-address</name>
             <value>node01:50090</value>
       </property>
   

7. 格式化

   hdfs namenode -format
   

8. 添加用户

   # 在文件空白处添加
   # start-dfs.sh，stop-dfs.sh中：
   HDFS_NAMENODE_USER=root
   HDFS_DATANODE_USER=root
   HDFS_SECONDARYNAMENODE_USER=root
   YARN_RESOURCEMANAGER_USER=root
   YARN_NODEMANAGER_USER=root
   HDFS_JOURNALNODE_USER=root
   HDFS_ZKFC_USER=root 
   # 在start-yarn.sh，stop-yarn.sh中：
   YARN_RESOURCEMANAGER_USER=root
   HADOOP_SECURE_DN_USER=yarn
   YARN_NODEMANAGER_USER=root
   

9. 尝试从浏览器访问hdfs：http://node01:50090/status.html