hadoop的单机环境搭建

本次实验参考了官方文档如下：

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

版本说明：

操作系统：rhel-linux-64

hadoop版本：hadoop-3.0.0-alpha1 下载地址：http://hadoop.apache.org/releases.html

Java版本：jdk 1.8 下载地址：https://www.java.com/en/download/manual.jsp#lin

一：环境配置

1、安装jdk：
[root@test2 setup]# rpm -ivh jre-8u111-linux-x64.rpm

2、安装配置pdsh
[root@test2 setup]# tar -jxf pdsh-2.26.tar.bz2 && cd pdsh-2.26
[root@test2 pdsh-2.26]# ./configure --with-ssh --without-rsh && make && make install
[hadoop@test2 pdsh-2.26] # pdsh -v

3、创建hadoop 用户：
[root@test1 ~]# useradd hadoop
[root@test1 ~]# passwd hadoop

4、Hadoop用户解压缩安装包：
[hadoop@test2 setup]# gunzip hadoop-3.0.0-alpha1.tar.gz
[hadoop@test2 setup]# tar -xvf hadoop-3.0.0-alpha1.tar

5、在hadoop环境变量文件中设置java环境变量
[hadoop@test2 hadoop-3.0.0-alpha1]$ vi etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/java/jre1.8.0_111

6、Hadoop用户设置java环境变量
[hadoop@test2 latest]$ export JAVA_HOME=/usr/java/jre1.8.0_111

7、查看java为1.8版本
[hadoop@test2 latest]$ java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build25.111-b14, mixed mode)

二：搭建伪分布式hadoop

伪分布式搭建(Hadoop的伪分布式就是可以运行在一个节点上但hadoop守护进程运行在每个独立的java进程中)

1、修改core-site.xml文件  hadoop-3.0.0-alpha1/etc/hadoop/core-site.xml
<configuration>
    <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
    </property>
</configuration>

 
2、修改hdfs-site.xml文件  hadoop-3.0.0-alpha1/etc/hadoop/ hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>


3、设置ssh信任
[hadoop@test2 ~]$ ssh-keygen -t rsa
[hadoop@test2 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
[hadoop@test2 ~]$ cd .ssh
[hadoop@test2 .ssh]$ chmod 0600 authorized_keys

无需密码既能返回日期即表示成功
[hadoop@test2 .ssh]$ ssh localhost date
Fri Nov 18 10:17:14 CST 2016


4、格式化文件系统
[hadoop@test2 hadoop-3.0.0-alpha1]$ ./bin/hdfs namenode -format


5、启动NameNode和DataNode
[hadoop@test2 hadoop-3.0.0-alpha1]$./sbin/start-dfs.sh

注：hadoop的日志写入到 $HADOOP_LOG_DIR  目录 (默认是 $HADOOP_LOG_DIR /logs)

6、NameNode 的默认地址：http://localhost:9870/

(本次测试服务器的IP是192.168.56.59)

7、生成HDFS的目录以便执行MapReduce任务
[hadoop@test2 hadoop-3.0.0-alpha1]$./bin/hdfs dfs -mkdir /user 
[hadoop@test2 hadoop-3.0.0-alpha1]$./bin/hdfs dfs -mkdir /user/hadoopuser 


8、把输入文件拷贝一份到分布式文件系统中
[hadoop@test2 hadoop-3.0.0-alpha1]$./bin/hdfs dfs -mkdir /user/hadoopuser/input
[hadoop@test2 hadoop-3.0.0-alpha1]$./bin/hdfs dfs -put etc/hadoop/*.xml /user/hadoopuser/input


9、运行一些示例程序
[hadoop@test2 hadoop-3.0.0-alpha1]$./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar grep 
/user/hadoopuser/input output 'dfs[a-z.]+'


10、查看输出文件，将输出文件从分布式文件系统拷贝到本地然后查看
[hadoop@test2 hadoop-3.0.0-alpha1]$./bin/hdfs dfs -get output output
[hadoop@test2 hadoop-3.0.0-alpha1]$ cat output/*

或者在分布式文件系统上查看输出文件
[hadoop@test2 hadoop-3.0.0-alpha1]$./bin/hdfs dfs -cat output/*

 
11、停止服务进程
[hadoop@test2 hadoop-3.0.0-alpha1]$ ./sbin/stop-dfs.sh

三：YARN的配置

1、修改mapred-site.xml文件  hadoop-3.0.0-alpha1/etc/hadoop/mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.admin.user.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
    </property>
</configuration>


2、修改yarn-site.xml文件  hadoop-3.0.0-alpha1/etc/hadoop/yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>


3、开启资源管理和节点管理
[hadoop@test2 hadoop-3.0.0-alpha1]$./sbin/start-yarn.sh

4、资源管理的默认地址：http://localhost:8088/

(本次测试服务器的IP是192.168.56.59)

5、关闭资源管理和节点管理
[hadoop@test2 hadoop-3.0.0-alpha1]$./sbin/stop-yarn.sh

hadoop的单机环境搭建

一：环境配置

二：搭建伪分布式hadoop

三：YARN的配置

猜你喜欢