环境准备
新建hadoop用户
adduser hadoop
下载hadoop(下载binary文件,source文件是源码,需要重新编译)
wget http://apache.claz.org/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
解压
tar -xzf hadoop-2.8.0-src.tar.gz
修改配置
2.1 修改hadoop-env.sh
默认JAVA_HOME是${JAVA_HOME},如果未指定环境变量,这里需要替换成Jdk路径
2.2 修改core-site.xml
<!– 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 –>
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.\**.**.1:9000</value>
</property>
<!– 指定hadoop运行时产生文件的存储目录 –>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop/tmp</value>
</property>
2.3 修改hdfs-site.xml
<!– 指定HDFS副本的数量 –>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
2.4 修改yarn-site.xml
<!– Site specific YARN configuration properties ResourceManager的地址 –>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>10.\**.**.1</value>
</property>
<!– reducer获取数据的方式 –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
2.5 将mapred-site.xml.template重命名为mapred-site.xml
<!– 指定mr运行在yarn上 –>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- 格式化NameNode
./bin/hadoop namenode -format 启动Hadoop两大核心功能:HDFS与YARN
首先编辑slaves配置文件(这里我们的主节点既是DataNode又是NameNode):vi slaves -> add 10.**.**.1
启动HDFS:./sbin/start-dfs.sh
启动YARN:./sbin/start-yarn.sh
验证是否启动:jps
启动之后访问管理界面:
http://10.**.**.1:50070/注意:hadoop启动时会发送ssh指令,指向hadoop机器的ssh端口,默认是22端口,若机器设置了ssh端口,则更改端口配置:
hadoop-env.sh中新增
export HADOOP_SSH_OPTS=”-p 21987”