Spark Streaming:从入门到精通(一)[详细介绍]

新的场景需求

• 集群监控
  一般的大型集群和平台, 都需要对其进行监控的需求。
  要针对各种数据库, 包括 MySQL, HBase 等进行监控
  要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等
  要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等
  
• 还有很多很多
  
  

Spark Streaming介绍

官网:
http://spark.apache.org/streaming/
概述:
Spark Streaming是一个基于Spark Core之上的实时计算框架可以从很多数据源消费数据并对数据进行实时的处理，具有高吞吐量和容错能力强等特点。

Spark Streaming的特点：

1. 易用
   可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。
2. 容错
   SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。
3. 易整合到Spark体系
   流式处理与批处理和交互式查询相结合。

实时计算所处的位置