【问题标题】:Dynamic topic in kafka channel using flume使用flume的kafka频道中的动态主题
【发布时间】:2015-07-12 03:21:07
【问题描述】:

是否有可能有一个带有动态主题的 kafka 通道——比如可以指定主题标头的 kafka 接收器,或者可以使用标头中的值的 HDFS 接收器?

我知道我可以多路复用以使用多个通道(具有一堆通道配置),但这是不可取的,因为我希望有一个动态 HDFS 接收器,而不是每个 kafka 通道的 HDFS 接收器。

【问题讨论】:

    标签: hadoop flume flume-ng apache-kafka


    【解决方案1】:

    我的理解是,Flume Kafka 通道只能映射到单个主题,因为它既生产又消费该特定主题的日志。

    查看 Flume 1.6.0 的 KafkaChannel.java 中的代码,我可以看到只有一个主题被订阅(每个线程一个消费者)。

    【讨论】:

      猜你喜欢
      • 2016-05-11
      • 2019-01-07
      • 1970-01-01
      • 1970-01-01
      • 2017-12-25
      • 2018-03-21
      • 2018-01-10
      • 1970-01-01
      • 2019-01-24
      相关资源
      最近更新 更多