新的场景需求
- 集群监控
一般的大型集群和平台, 都需要对其进行监控的需求。
要针对各种数据库, 包括 MySQL, HBase 等进行监控
要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等
要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等
官网
http://spark.apache.org/streaming/
概述
Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行实时的处理，具有高吞吐量和容错能力强等特点。
Spark Streaming的特点
- 1.易用
可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。 - 2.容错
SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。 - 3.易整合到Spark体系
流式处理与批处理和交互式查询相结合。