Storm集群的安装及简单使用

前言:

这里先简单说一下Storm的安装的主要步骤,还会介绍下Storm的常用的操作指令以及各个进程对应的日志信息,之后会简单介绍下Storm的源码目录。

1、集群部署的基本流程

集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群(其他集群部署通用的流程)

下载和解压安装包在这里就省略,直接进入修改配置文件
1.3、修改配置文件
vi /export/servers/storm/conf/storm.yaml
输入以下内容:

#指定storm使用的zk集群
storm.zookeeper.servers:
     - "shizhan"
     - "mini2"
     - "mini3"
#指定storm本地状态保存地址
storm.local.dir: "/root/apps/storm/workdir"
#指定storm集群中的nimbus节点所在的服务器
nimbus.host: "shizhan"
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor节点上,每个worker启动JVM最大可用内存大小
worker.childopts: "-Xmx768m"
#指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上。
ui.childopts: "-Xmx768m"
#指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一个worker
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

1.4、分发安装包
scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers

1.5、启动集群(后台启动)
在nimbus.host所属的机器上启动 nimbus服务
cd /export/servers/storm/bin/
nohup ./storm nimbus &
在nimbus.host所属的机器上启动ui服务
cd /export/servers/storm/bin/
nohup ./storm ui &
在其它个点击上启动supervisor服务
cd /export/servers/storm/bin/
nohup ./storm supervisor &
1.6、查看集群
访问nimbus.host:/8080,即可看到storm的ui界面。
这里写图片描述

2、Storm常用操作命令(了解)

有许多简单且有用的命令可以用来管理拓扑,它们可以提交、杀死、禁用、再平衡拓扑。

  • 提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
    bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
  • 杀死任务命令格式:storm kill 【拓扑名称】 -w 10(执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间)
    storm kill topology-name -w 10
  • 停用任务命令格式:storm deactivte 【拓扑名称】
    storm deactivte topology-name
    我们能够挂起或停用运行中的拓扑。当停用拓扑时,所有已分发的元组都会得到处理,但是spouts的nextTuple方法不会被调用。销毁一个拓扑,可以使用kill命令。它会以一种安全的方式销毁一个拓扑,首先停用拓扑,在等待拓扑消息的时间段内允许拓扑完成当前的数据流。
  • 启用任务命令格式:storm activate【拓扑名称】
    storm activate topology-name

  • 重新部署任务命令格式:storm rebalance 【拓扑名称】

    storm rebalance topology-name
    再平衡使你重分配集群任务。这是个很强大的命令。比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。

3、Storm集群的进程及日志熟悉(知道对应的日志的位置出了问题知道去哪找原因)

3.1、部署成功之后,启动storm集群。
依次启动集群的各种角色
3.2、查看nimbus的日志信息
在nimbus的服务器上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/nimbus.log
3.3、查看ui运行日志信息
在ui的服务器上,一般和nimbus一个服务器
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/ui.log
3.4、查看supervisor运行日志信息
在supervisor服务上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/supervisor.log
3.5、查看supervisor上worker运行日志信息
在supervisor服务上
cd /export/servers/storm/logs
tail -100f /export/servers/storm/logs/worker-6702.log

4、Storm源码目录分析(重要)

这里写图片描述
扩展包中的三个项目,使storm能与hbase、hdfs、kafka交互
这里写图片描述

总结:

以上的一些知识只是作为一个了解,目的为了让你在以后的工作或学习中用到相关的技能时,能够直接上手。

猜你喜欢

转载自blog.csdn.net/qq_16633405/article/details/79835606