【发布时间】:2015-07-12 03:21:07
【问题描述】:
是否有可能有一个带有动态主题的 kafka 通道——比如可以指定主题标头的 kafka 接收器,或者可以使用标头中的值的 HDFS 接收器?
我知道我可以多路复用以使用多个通道(具有一堆通道配置),但这是不可取的,因为我希望有一个动态 HDFS 接收器,而不是每个 kafka 通道的 HDFS 接收器。
【问题讨论】:
标签: hadoop flume flume-ng apache-kafka
是否有可能有一个带有动态主题的 kafka 通道——比如可以指定主题标头的 kafka 接收器,或者可以使用标头中的值的 HDFS 接收器?
我知道我可以多路复用以使用多个通道(具有一堆通道配置),但这是不可取的,因为我希望有一个动态 HDFS 接收器,而不是每个 kafka 通道的 HDFS 接收器。
【问题讨论】:
标签: hadoop flume flume-ng apache-kafka
我的理解是,Flume Kafka 通道只能映射到单个主题,因为它既生产又消费该特定主题的日志。
查看 Flume 1.6.0 的 KafkaChannel.java 中的代码,我可以看到只有一个主题被订阅(每个线程一个消费者)。
【讨论】: