Hadoop集群群启脚本

一 启动服务

zookeeper

hadoop

hbase

二 脚本

1 启动集群脚本start-cluster.sh

#!/bin/bash
echo  "******************  开始启动集群所有节点服务 ****************"
echo  "******************  正在启动zookeeper   *********************"
for i in admin@node21 admin@node22 admin@node23
do
     ssh $i '/opt/module/zookeeper-3.4.12/bin/zkServer.sh start'
done
echo  "********************     正在启动HDFS     *******************"
ssh   admin@node21 '/opt/module/hadoop-2.7.6/sbin/start-dfs.sh'
echo  "*********************    正在启动YARN   ******************"
ssh   admin@node22 '/opt/module/hadoop-2.7.6/sbin/start-yarn.sh'
echo  "***************  正在node21上启动JobHistoryServer   *********"
ssh   admin@node21 '/opt/module/hadoop-2.7.6/sbin/mr-jobhistory-daemon.sh start historyserver'
echo  "************     正在node21上启动HBASE      *****************"
ssh   admin@node21 '/opt/module/hbase-1.2.6/bin/start-hbase.sh'
echo  "******************      集群启动成功      *******************"*

2 关闭集群脚本stop-cluster.sh

#!/bin/bash
echo  "*************      开在关闭集群所有节点服务      *************"
echo  "*************  正在node21关闭HBASE============"
ssh   admin@node21 '/opt/module/hbase-1.2.6/bin/stop-hbase.sh'
echo  "*************  正在node21上关闭JobHistoryServer  *************"
ssh   admin@node21 '/opt/module/hadoop-2.7.6/sbin/mr-jobhistory-daemon.sh stop historyserver'
echo  "*************         正在关闭YARN               *************"
ssh   admin@node22 '/opt/module/hadoop-2.7.6/sbin/stop-yarn.sh'
echo  "*************         正在关闭HDFS               *************"
ssh   admin@node21 '/opt/module/hadoop-2.7.6/sbin/stop-dfs.sh'
echo  "*************         正在关闭zookeeper          *************"
for i in admin@node21 admin@node22 admin@node23
do
     ssh $i '/opt/module/zookeeper-3.4.12/bin/zkServer.sh stop'
done

3 查看集群jps进程脚本utils.sh

#!/bin/bash 
echo  "************* 开始启动JPS  **********"
echo  "************* node21的jps **********"
ssh   admin@node21  'jps'
echo  "************* node22的jps **********"
ssh   admin@node22  'jps'
echo  "************* node23的jps **********"
ssh   admin@node23  'jps'

三 赋权限给脚本

chmod +x 脚本名称

四 其他问题

Linux执行.sh文件，提示No such file or directory的问题的解决方法：

原因：在windows中写好shell脚本测试正常，但是上传到 Linux 上以脚本方式运行命令时提示No such file or directory错误，那么一般是文件格式是dos格式的缘故，改成unix 格式即可。一般有如下几种修改办法。

 1）在Windows下转换： 
利用一些编辑器如UltraEdit或EditPlus等工具先将脚本编码转换，再放到Linux中执行。转换方式如下（UltraEdit）：File-->Conversions-->DOS->UNIX即可。 
2)方法 
用vi打开该sh文件，输入：
:set ff 
回车，显示fileformat=dos，重新设置下文件格式：
:set ff=unix 
保存退出: 
:wq 
再执行，就可以了