Flink 1.4.0 Kafka 连接器分配分区

【问题标题】：Flink 1.4.0 Kafka connector assign partitionFlink 1.4.0 Kafka 连接器分配分区
【发布时间】：2018-03-17 03:19:27
【问题描述】：

在 Kafka 中，您可以使用 KafkaConsumer.assign 分配分区：

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(prop);
consumer.assign(partitions);

有没有办法为 FlinkKafkaConsumer010 做同样的事情或获取 KafkaConsumer 的句柄？

【问题讨论】：

【解决方案1】：

简短的回答是否定的。 FlinkKafkaConsumerBase（及其具体子项）的 kafkaFetcher 字段是私有的。然后将 KafkaConsumer 本身进一步隐藏在 fetcher 中。

话虽如此，我个人还没有发现让我退缩的情况。出于好奇，您为什么要访问底层消费者？

【讨论】：

我们有一个自定义的 kafka 分区器，它根据消息的有效负载将消息分配给某些 flink 实例。我们认为，如果其中一些工作被卸载到 kafka 生产者端，flink 必须过滤的消息将更少。