flume+kafka+sparkstream+hbase 实时分析架构
-
整体架构
各个业务系统的消息源多种多样，使用 flume 作为消息的采集端，有一定的扩展性，采集的消息发往hdfs直接保存和消息管道进行实时计算。中间传输层采用Kakfa，能够支撑海量数据的数据传递。将消息持久化到磁盘中，并对消息创建了备份保证了数据的安全。Kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。计算框架采用高吞吐的SparkStreaming，还拥有Spark生态圈丰富的组件，最后将处理好的数据写入Hbase方便即时查询。
dome
后续补充