Kylin cubo

版权声明:技术专栏,转载请注明! https://blog.csdn.net/wankunde/article/details/80415958

Hbase

管理命令

hbase-daemon.sh start master
hbase-daemon.sh start regionserver
hbase-daemon.sh start master --backup

端口

节点 端口号 协议 使用 说明
HBase Master 16000 hbase-client-1.x.x.jar RegionServer接入
16010 HTTP http://hmaster:16010/ 集群监控
HBase RegionServer 16020 N/A 客户端接入
16030 HTTP http://regionserver:16030/ 节点监控

Kylin

启动和关闭 :~/bin/kylin.sh start~/bin/kylin.sh stop
默认服务端口7070,修改默认端口:~/tomcat/conf/server.xml
默认用户名密码:ADMIN / KYLIN

引用 https://www.cnblogs.com/skyl/p/4853773.html
脚本使用小结:
1.开启集群,start-hbase.sh
2.关闭集群,stop-hbase.sh
3.开启/关闭【所有】的regionserver、zookeeper,hbase-daemons.sh start/stop regionserver/zookeeper
4.开启/关闭【单个】的regionserver、zookeeper,hbase-daemon.sh start/stop regionserver/zookeeper
5.开启/关闭master hbase-daemon.sh start/stop master, 是否成为active master取决于当前是否有active master
两个进阶脚本:
6.rolling-restart.sh 可以用来挨个滚动重启
7.graceful_stop.sh move服务器上的所有region后,再stop/restart该服务器,可以用来进行版本的热升级

几个细节:
1。hbase-daemon.sh start master 与 hbase-daemon.sh start master –backup,这2个命令的作用一样的,是否成为backup或active是由master的内部逻辑来控制的
2。stop-hbase.sh不会调用hbase-daemons.sh stop regionserver 来关闭regionserver,但是会调用hbase-daemons.sh stop zookeeper/master-backup来关闭zk和backup master,关闭regionserver实际调用的是hbaseAdmin的shutdown接口
3。通过 H B A S E H O M E / b i n / h b a s e s t o p m a s t e r m a s t e r m a s t e r 使 HBASE_HOME/bin/hbase-daemon.sh stop master
4。 H B A S E H O M E / b i n / h b a s e s t o p r e g i o n s e r v e r / z o o k e e p e r HBASE_HOME/bin/hbase start regionserver/zookeeper 来启动rs或者zk,hbase-daemon.sh调用的就是这个命令

start-hbase.sh的流程如下:
1.运行hbase-config.sh(作用后面解释)
2.解析参数(0.96版本及以后才可以带唯一参数autorestart,作用就是重启)
3.调用hbase-daemon.sh来启动master;调用hbase-daemons.sh来启动regionserver zookeeper master-backup

hbase-config.sh的作用:
装载相关配置,如HBASE_HOME目录,conf目录,regionserver机器列表,JAVA_HOME目录等,它会调用$HBASE_HOME/conf/hbase-env.sh

hbase-env.sh的作用:
主要是配置JVM及其GC参数,还可以配置log目录及参数,配置是否需要hbase管理ZK,配置进程id目录等

hbase-daemons.sh的作用:
根据需要启动的进程,
如为zookeeper,则调用zookeepers.sh
如为regionserver,则调用regionservers.sh
如为master-backup,则调用master-backup.sh

zookeepers.sh的作用:
如果hbase-env.sh中的HBASE_MANAGES_ZK” = “true”,那么通过ZKServerTool这个类解析xml配置文件,获取ZK节点列表(即hbase.zookeeper.quorum的配置值),然后通过SSH向这些节点发送远程命令:
cd H B A S E H O M E ; bin/hbase-daemon.sh --config ${HBASE_CONF_DIR} start/stop zookeeper

regionservers.sh的作用:
与zookeepers.sh类似,通过 H B A S E C O N F D I R / r e g i o n s e r v e r s r e g i o n s e r v e r S S H c d {HBASE_HOME};
b i n / h b a s e d a e m o n . s h c o n f i g {HBASE_CONF_DIR} start/stop regionserver

master-backup.sh的作用:
通过 H B A S E C O N F D I R / b a c k u p m a s t e r s b a c k u p m a s t e r s b a c k u p m a s t e r , S S H c d {HBASE_HOME};
b i n / h b a s e d a e m o n . s h c o n f i g {HBASE_CONF_DIR} start/stop master –backup

hbase-daemon.sh的作用:
无论是zookeepers.sh还是regionservers.sh或是master-backup.sh,最终都会调用本地的hbase-daemon.sh,其执行过程如下:
1.运行hbase-config.sh,装载各种配置(java环境、log配置、进程ID目录等)
2.如果是start命令?
滚动out输出文件,滚动gc日志文件,日志文件中输出启动时间+ulimit -a信息,如
“Mon Nov 26 10:31:42 CST 2012 Starting master on dwxx.yy.taobao”
“..open files (-n) 65536..”
3.调用$HBASE_HOME/bin/hbase start master/regionserver/zookeeper
4.执行wait,等待3中开启的进程结束
5.执行cleanZNode,将regionserver在zk上登记的节点删除,这样做的目的是:在regionserver进程意外退出的情况下,可以免去3分钟的ZK心跳超时等待,直接由master进行宕机恢复
6.如果是stop命令?
根据进程ID,检查进程是否存在;调用kill命令,然后等待到进程不存在为止
7.如果是restart命令?
调用stop后,再调用start。。。

HBase参数解析:
2.bin/hbase shell,这个就是常用的shell工具,运维常用的DDL和DML都会通过此进行,其具体实现(对hbase的调用)是用ruby写的

3.bin/hbase hbck, 运维常用工具,检查集群的数据一致性状态,其执行是直接调用org.apache.hadoop.hbase.util.HBaseFsck中的main函数

4.bin/hbase hlog, log分析工具,其执行是直接调用org.apache.hadoop.hbase.regionserver.wal.HLogPrettyPrinter中的main函数

5.bin/hbase hfile, hfile分析工具,其执行是直接调用org.apache.hadoop.hbase.io.hfile.HFile中的main函数

6.bin/hbase zkcli,查看/管理ZK的shell工具,很实用,经常用,比如你可以通过(get /IP/master)其得知当前的active master,可以通过(get /IP/root-region-server)得知当前root region所在的server,你也可以在测试中通过(delete /IP/rs/dwxx.yy.taobao),模拟regionserver与ZK断开连接,
其执行则是调用了org.apache.zookeeper.ZooKeeperMain的main函数

7.bin/hbase classpath 打印classpath

8.bin/hbase version 打印hbase版本信息

7.回归到刚才hbase-daemon.sh对此脚本的调用为:
$HBASE_HOME/bin/hbase start master/regionserver/zookeeper
其执行则直接调用
org.apache.hadoop.hbase.master.HMaster
org.apache.hadoop.hbase.regionserver.HRegionServer
org.apache.hadoop.hbase.zookeeper.HQuorumPeer
的main函数,而这些main函数就是了new一个了Runnable的HMaster/HRegionServer/QuorumPeer,在不停的Running…

猜你喜欢

转载自blog.csdn.net/wankunde/article/details/80415958
今日推荐