Centos安装单节点伪分布式Hadoop

注意：尽量参考官方文档：https://hadoop.apache.org/

1、上传压缩包到服务器并解压

2、删除解压中share中无用文档

3、配置/etc/hadoop中的文件

1、etc/hadoop/hadoop-env.sh:
    修改export JAVA_HOME=/opt/java/jdk1.8/

2、etc/hadoop/core-site.xml:
    <configuration>
        <!-- HDFS中namenode地址-->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://centos03.bkm:9000</value>
        </property>
        <!-- 需要创建并配置hadoop运行时产生数据目录默认存储tmp下，重启系统会清空 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/hadoop/data/temp</value>
        </property>
    </configuration>

3、etc/hadoop/hdfs-site.xml:
    <configuration>
        <!-- 副本数 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <!-- 权限 -->
        <property>
            <name>dfs.permissions.enabled</name>
            <value>false</value>
        </property>
    </configuration>

3、etc/hadoop/slaves:
     填写centos的hostname

4、服务启动，默认端口50070

#第一次启动时format 以后再启动不需要执行
bin/hdfs namenode -format
#启动namenode和datanode
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode


#命令行操作hdfs
hdfs dfs -mkdir -p /user/input

#在hdfs上运行demo。output文件夹不能存在，input中自行使用hdfs命令上传测试文件wc.input。
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /user/input/ /user/output/

#停止进程
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop namenode

5、YARN上运行MapReduce程序

1、修改/etc/hadoop目录下mapred-env.sh、yarn-env.sh文件的JAVA_HOME目录
2、配置yarn-site.xml
    <!-- reducer获取数据的方式 -->
    <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定YARN的ResourceManager的地址 -->
    <property>
    <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
    </property>
3、配置(对mapred-site.xml.template重新命名为) mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

4、启动,端口8088，mapreduce 运行过程
    hadoop-daemon.sh start namenode
    hadoop-daemon.sh start datanode
    yarn-daemon.sh start resourcemanager
    yarn-daemon.sh start nodemanager

5、yarn上执行mp
    [root@centos03 hadoop]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /test1/ /test1/output

6、停止进程
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode