Hadoop 3.1.1伪分布式模式安装
更多资源
github: https://github.com/opensourceteams/hadoop-java-maven-3.1.1
视频
- Hadoop 3.1.1伪分布式模式安装(bilibili视频) : https://www.bilibili.com/video/av38149957/
- Hadoop 3.1.1伪分布式模式安装(youtube视频) : https://youtu.be/plVkuyJSNF8
前置条件
- jdk.1.8.0_191 已安装
- linux 系统(本文选用的centos 7 系统已完装好)
技能标签
- 学会安装Hadoop3.1.1版本的伪分布式模式
- 可以进行Hadoop技术开发(包括HDFS,MapReduce等)
- HDFS启动停止命令，yarn启动停止命令
- 官网自带WorldCount示例运行
- 进行管理界面管理NamenNode管理和ResourceManager管理
- 对Hadoop集群环境操作(一台机器也可以做集群，只是节点只有一个，很多功能都可以操作)
安装步骤
安装ssh
- 一般安装系统后都已自带ssh服务，就可以跳过,直接在终端执行ssh命令，有这个命令就可以
- 如果没有需要安装如下服务
yum install ssh
yum install pdsh
下载Hadoop安装包
- 官网下载地址:https://hadoop.apache.org/releases.html
- 本文下载版本: hadoop-3.1.1.tar.gz
- http://apache.01link.hk/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz
- 解压压缩包
tar -zxvf /hadoop-3.1.1.tar.gz -C /opt/module/bigdata
配置
hadoop-env.sh
- 编辑etc/hadoop/hadoop-env.sh
- 调置JAVA_HOME环境变量
# set to the root of your Java installation
export JAVA_HOME=/opt/module/jdk/jdk1.8.0_191
执行命令 Hadoop
- 确认hadoop命令是否可以正常执行
- 查看当前版本命令
bin/hadoop version
独立模式
- 本地模式
执行官方自带示例
mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar grep input output 'dfs[a-z.]+'
$ cat output/*
伪分布式模式
配置环境变量
- 配置在本地用户下 ~/.bashrc
export HADOOP_HOME=/opt/module/bigdata/hadoop-3.1.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置core-site.xml
- 配置文件 etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
配置hdfs-site.xml
- etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置 ssh免密登录
- 验证是否已经配置 ssh
ssh localhost
- 如果需要输入密码验证，则执行以下
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
- 也可以执行以下
ssh-keygen
ssh-copy-id 远程ip地址
格式化namenode
bin/hdfs namenode -format
启动namenode和datanode
sbin/start-dfs.sh
- 可配置日志输出目录
$HADOOP_LOG_DIR directory (defaults to $HADOOP_HOME/logs).
访问namenode
- NameNode - http://localhost:9870/
HDFS上新建目录
bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/<username>
上传本机文件到HDFS上
bin/hdfs dfs -mkdir input
$ bin/hdfs dfs -put etc/hadoop/*.xml input
运行示例
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar grep input output 'dfs[a-z.]+'
查看示例输出结果(先下到本地再看)
bin/hdfs dfs -get output output
$ cat output/*
查看HDFS上的文件内容
bin/hdfs dfs -cat output/*
停止namemode和datanode
sbin/stop-dfs.sh
hadoop-daemon.sh命令
hdfs --daemon start namenode
hdfs --daemon start datanode
hdfs --daemon stop namenode
hdfs --daemon stop datanode
HDFS命令操作
- 在HDFS上新建目录
hdfs dfs -mkdir -p /home/liuwen/data
- 上传本地文件到HDFS
hdfs dfs -put /opt/temp/a.txt /home/liuwen/data
- 查看HDFS文件
hdfs dfs -text /home/liuwen/data/a.txt
YARN 配置伪分布式模式
配置文件mapred-site.xml
- etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
<configuration>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
</property>
</configuration>
配置文件mapred-site.xml
- etc/hadoop/yarn-site.xml:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
启动YARN
- 启动 ResourceManager daemon 和 NodeManager daemon
sbin/start-yarn.sh
访问资源管理器
- ResourceManager: http://localhost:8088/
###停止YARN
- 停止 ResourceManager daemon 和 NodeManager daemon
sbin/stop-yarn.sh
WorldCount官网示例运行
- 配置环境变量直接运行 hadoop命令
- worldcount标签，examples自带运行对应的程序
- 输入数据源
- 输出数据源
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount /opt/data/a.txt /opt/temp/output/output_2
end