Storm介绍和发展

1. 什么是storm?

Apache Storm是一个免费的、开源的分布式实时计算系统。Storm使得可靠地处理无界数据流变得很容易,可以实时处理Hadoop对批处理的处理。Storm是简单的,可以与任何编程语言一起使用,并且使用起来非常有趣!
Storm有很多用例:实时分析、在线机器学习、持续计算、分布式RPC、ETL等等。Storm是非常快的:一个基准在每一个节点每秒处理超过100万个元组。它是可伸缩的、容错的,保证您的数据将被处理,并且易于设置和操作。

Storm集成了队列和数据库技术。风暴拓扑使用数据流,并以任意复杂的方式处理这些流,在计算的每个阶段之间重新划分流。

Storm能实现高频数据和大规模数据实时处理。

2. 发展历史

Storm产生于BackType被Twitter收购。是根据需求(大数据实时处理)发展而来的。

https://www.oschina.net/translate/history-of-apache-storm-and-lessons-learned

假如自己来实现实时系统,要考虑的因素:

1)健壮性

2)扩展性/分布式

3)如何使得数据不丢失,不重复

4)高性能、低延迟

猜你喜欢

转载自blog.csdn.net/lp284558195/article/details/80787521