【发布时间】:2016-03-07 06:58:53
【问题描述】:
我知道可以使用 Storm 或 Spark 流来使用 kafka 进行实时数据处理,但我想问一下 kafka 中是否有任何类似于 Flume 拦截器的功能,其中数据清理等可以在参加活动。
【问题讨论】:
标签: apache-kafka
我知道可以使用 Storm 或 Spark 流来使用 kafka 进行实时数据处理,但我想问一下 kafka 中是否有任何类似于 Flume 拦截器的功能,其中数据清理等可以在参加活动。
【问题讨论】:
标签: apache-kafka
目前在已发布的 Kafka 版本中没有这样的功能,但下一个版本(根据 the roadmap 为 0.10.0.0)将具有 Kafka Streams,看起来与您要求的相似。
【讨论】:
您正在寻找的是Kafka Interceptors,它实际上是受 Flume 拦截器接口启发的。就像@Lundahl 指出当前版本不支持这个,但下一个会。
【讨论】: