【问题标题】:Apache Flume Kafka Producer - Generate partition_id/key dynamicallyApache Flume Kafka Producer - 动态生成 partition_id/key
【发布时间】:2017-12-25 06:25:12
【问题描述】:

我的任务是使用 Apache Flume 向 Kafka 主题发送消息。需要注意的是,我必须根据消息中的 IP 地址指定一个分区。

有没有办法将 Apache Flume 配置为动态执行此操作,还是我必须实现自定义 Producer 插件?

谢谢。

【问题讨论】:

    标签: apache configuration flume-ng


    【解决方案1】:

    经过一些研究,配置生产者的唯一真正自定义方法是自己滚动。

    我实现了AbstractSink接口并放入了我自己的哈希算法来生成一个分区来发送消息。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-12-17
      • 2018-06-22
      相关资源
      最近更新 更多