storm（一） 集群架构

storm关键概念

• storm不用来处理静态数据，主要用来处理动态数据

storm 架构

• Nimbus：管理节点，用于提交
• Supervisor：从节点，接受来自于Nimbus节点的任务，管理Worker
  
  • Worker：工作进程，具体执行业务的工作进程
    
    • Executor：工作线程，一个实际的物理线程
      
      • Spout / Bolt：计算模型节点，也叫task，多个task可能公用一个Executor
• Topology：执行程序，指定数据在Spout和bolt的流动方式
• zookeeper：用来存储调度信息，supervisor要执行的任务，维护集群的状态。storm所有的元数据信息保存在Zookeeper中

Topology

• Tuple：消息传递的基本单元
• Stream：Tuple的集合。表示数据的流向。
• Spout：数据源
• Bolt：执行处理的组件

Worker Executor task

• 一台物理机上有多个Worker，一般默认是4个
• 一个worker中会运行一个或多个Executor
• 一个Executor只会运行一种task，task可能有多个，但是默认是一个Executor一个task

参考：https://blog.csdn.net/weiyongle1996/article/details/77142245?utm_source=gold_browser_extension