【发布时间】:2017-12-25 06:25:12
【问题描述】:
我的任务是使用 Apache Flume 向 Kafka 主题发送消息。需要注意的是,我必须根据消息中的 IP 地址指定一个分区。
有没有办法将 Apache Flume 配置为动态执行此操作,还是我必须实现自定义 Producer 插件?
谢谢。
【问题讨论】:
标签: apache configuration flume-ng
我的任务是使用 Apache Flume 向 Kafka 主题发送消息。需要注意的是,我必须根据消息中的 IP 地址指定一个分区。
有没有办法将 Apache Flume 配置为动态执行此操作,还是我必须实现自定义 Producer 插件?
谢谢。
【问题讨论】:
标签: apache configuration flume-ng
经过一些研究,配置生产者的唯一真正自定义方法是自己滚动。
我实现了AbstractSink接口并放入了我自己的哈希算法来生成一个分区来发送消息。
【讨论】: