大数据Hadoop集群常见组件启动方式汇总(持续更新....)

        接触过大数据领域的朋友都知道，Hadoop生态系统十分的庞大，许多组件启动的方式也是不尽相同，今天博主抽空整理了一下大数据生态圈中常见组件的启动方式，也算是为自己巩固了一下基础吧~

        申明:博主所有Hadoop的组件都是安装在/export/servers/目录下的，大家在借鉴操作的时候需依自己组件的安装位置为准…

        在开始之前，博主先把所有的进程全部关闭之后，并执行xcall jps确保每台集群只有初始的进程~

<1> HDFS和YARN

cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/

开启HDFS
start-dfs.sh

开启Yarn
sbin/start-yarn.sh

也可以使用集群自带的一键启动脚本
start-all.sh

启动后主节点正常的集群状态:

46677 Jps
45574 NameNode
45707 DataNode
45868 SecondaryNameNode
46012 ResourceManager
46111 NodeManager

从节点:

[root@node02 bin]# jps
87414 DataNode
87526 NodeManager
88095 Jps

<2> Hive

cd /export/servers/hive-1.1.0-cdh5.14.0/

启动hive服务
bin/hive --service metastore &

开启远程连接
hive --service hiveserver2 &

<3>Zookeeper

cd /export/servers/zookeeper-3.4.5-cdh5.14.0/bin/

一键启动
zk_startall.sh

一键关闭
zk_stopall.sh

关于一键启动和关闭的脚本，参考《关于Zookeeper一键启动/关闭脚所产生的乌龙事件》

启动完毕之后各节点都多了如下进程:

48051 QuorumPeerMain

<4> HBase

cd /export/servers/hbase-1.2.0-cdh5.14.0/bin

开启Hbase
start-hbase.sh

关闭HBase
stop-hbase.sh

<5> Hue

cd /export/servers/hue-3.9.0-cdh5.14.0/

build/env/bin/supervisor

查看HBase需要单独开启thrif进程
hbase-daemon.sh start thrift

<6>Spark

开启Spark
cd /export/servers/spark/sbin/

start-all.sh

关闭Spark
stop-all.sh

<7> Azkaban

cd azkaban-solo-server-0.1.0-SNAPSHOT/

开启Azkaban
bin/start-solo.sh

        

<8> Phoenix

cd /export/servers/phoenix/bin

开启连接
./sqlline.py node01:2181

        

<…> 其他

Hadoop的JobHistory

cd /export/servers/hadoop-2.6.0-cdh5.14.0/

开启JobHistory进程
sbin/mr-jobhistory-daemon.sh start historyserver

---

        好了，本次的分享就到这里~还有好多组件在这里还未贴出来,后续会持续更新，敬请期待|ू･ω･` )