使用 Flink 从一个 kafka 主题开始消费

Question

如何确保我始终使用 Flink 从 Kafka 主题的开头开始消费？

随着 Kafka 0.9.x consumer 是 Fl​​ink 1.0.2 的一部分，似乎不再是 Kafka 而是 Flink 来控制偏移量：

Flink 在内部对偏移量进行快照，作为其一部分 分布式检查点。提交给 Kafka / ZooKeeper 的偏移量 只是为了让外界对进度的看法与 Flink 的同步 进度的视图。这样，监控和其他工作可以获得 查看 Flink Kafka 消费者对主题的消费程度。

这就是我的进展，但我的 Flink 程序总是从它停止的地方开始，并且不会按照配置的指示返回到开头：

val props = new Properties()
props.setProperty("bootstrap.servers", "localhost:9092");
props.setProperty("group.id", "myflinkservice")
props.setProperty("auto.offset.reset", "earliest")

val incomingData = env.addSource(
  new FlinkKafkaConsumer09[IncomingDataRecord](
    "my.topic.name",
    new IncomingDataSchema,
    props
  )
)

Answer 1

用途：

consumer.setStartFromEarliest();

Answer 2

我认为你可以通过指定一个随机的group.id 来解决这个问题：

val props = new Properties()
props.setProperty("bootstrap.servers", "localhost:9092");
props.setProperty("group.id", s"myflinkservice_${UUID.randomUUID}")
props.setProperty("auto.offset.reset", "smallest") // "smallest", not "earliest"

auto.offset.reset 仅在 ZooKeeper 中没有可用的初始偏移量时有效。