hadoop集群启动步骤(已配置hdfs ha,yarn ha,hive单节点(hadoop01),mysql等)

1.启动mysql(作为hive的数据库,没有的话可以不用启动)

执行service mysql start

验证service mysql status

2.启动hdfs ha集群

(1)启动zookeeper

启动 (每个节点都要执行)zkServer.sh start

验证 是否启动成功(每个节点都要执行)zkServer.sh status


(2)启动journalnode服务(单个启动、多个进程启动)

./sbin/hadoop-daemon.sh start journalnode

hadoop01  ./sbin/hadoop-daemons.sh start journalnode

(3)挑选两个namenode之中的一台来格式化,然后并且启动

hadoop01  hdfs namenode -format

                  hadoop-daemon.sh start namenode

(4)在另外一台namenode的机子上拉取元数据(也可以使用复制)

hadoop02     hdfs namenode -bootstrapStandby

(5)格式化zkfc

hadoop01  hdfs zkfc -formatZK


(6)hadoop01上执行start-dfs.sh


(7)验证

①对应进程是否启动

hadoop01:hadoop02:hadoop03:

②web ui是否正常

hadoop02节点处于工作状态

hadoop01节点处于standby状态

③hdfs读文件(必须在工作状态的节点上)

④关闭active的节点,测试standby节点是否正常

hadoop02节点:

hadoop01节点:


3.启动yarn ha集群

①hadoop01启动start-yarn.sh

②hadoop02手动启动ResourceManager   yarn-daemon.sh start resourceManager


③验证测试

web ui界面

hadoop01  active:

hadoop02  standby:

这样就成功启动。

启动过程中可能会出现refuse connection,可以尝试关闭虚拟机的防火墙等。


猜你喜欢

转载自blog.csdn.net/zx07160501/article/details/81050836