如何让消费者知道Producer已经将所有消息发送给Broker？

Question

1：我们正在使用 Spark Streaming 进行近乎实时的处理或批处理。我们当前的设计包含 Kafka。

2：Producer 将每 15 分钟发送一次消息。

3：我们计划使用 Spark Streaming 来消费来自 Kafka 主题的消息。

Answer 1

这是一个非常广泛的问题：

1. 基本上没有“所有消息”之类的东西，因为它是流处理（但我仍然理解您的问题）。
2. 一种方法是在“结束数据突发”的最后一条消息中注入控制消息
3. 您还可以通过 RPC 使用一些“侧通信通道”，以便生产者将其写入的最后偏移量发送给消费者
4. 您可以提出一个启发式方法 - 如果 poll() 在 1 分钟内没有返回任何内容，您只需假设所有数据都已被消耗

可能还有其他方法……但都是手工编码的——Kafka 不支持（参见 (1.)）。