本文介绍apache hadoop的第二种搭建模式:伪分布式。关于伪分布式的搭建基于上篇《Hadoop安装之standAlone单机》文章中standAlone搭建的基础之上进行扩建。
安装服务器规划
服务器IP |
192.168.254.100 |
192.168.254.110 |
192.168.254.120 |
主机名 |
node01.hadoop.com |
node02.hadoop.com |
node03.hadoop.com |
NameNode |
是 |
否 |
否 |
Secondary NameNode |
是 |
否 |
否 |
dataNode |
是 |
是 |
是 |
ResourceManager |
是 |
否 |
否 |
NodeManager |
是 |
是 |
是 |
1):删除第一篇文章中创建的hadoop中文件目录
rm -rf /export/servers/hadoop-2.7.5/hadoopDatas
2)重新创建hadoop存放文件的目录
cd /export/servers/hadoop-2.7.5
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits
3):修改配置文件
注意:在修改slaves配置文件时,将localhost改成如下内容:
192.168.254.100
192.168.254.110
192.168.254.120
4):将hadoop2.7.5通过scp命令发送到另外两台服务上面,110和120上面。且110、120环境和110保持一致。
cd /export/servers/
scp -r hadoop-2.7.5 192.168.254.110:$PWD
scp -r hadoop-2.7.5 192.168.254.120:$PWD
5)启动
cd /export/servers/hadoop-2.7.5
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver