流处理后从 kafka 主题中删除消息答案

【问题标题】：Remove messages from kafka topic after stream processing流处理后从 kafka 主题中删除消息
【发布时间】：2017-08-14 11:07:45
【问题描述】：

我们的系统中实现了kafka流处理，用于事务处理。解决方案实现如下，

Kafka生产者向kafka主题发布事件，流处理器处理输入事件并执行聚合操作。流处理后，事件将发布到另一个主题。由于第一个主题中没有实现消费者，我如何从第一个主题中删除已处理的消息。

【问题讨论】：

【解决方案1】：

没有办法手动从 kafka 中删除消息（没有黑客攻击磁盘上的数据，AFAIK）。您只有 3 个选项：

正如 Luciano Afranllie 所述 - 您无需手动删除消息。您可以处理消息并让 kafka 根据您的策略管理主题。

【讨论】：

【解决方案2】：

考虑到您的流处理链是第一个主题的消费者。如果您出于某种原因需要重新处理原始数据（例如，如果您意识到流处理逻辑中存在错误），您可能希望在处理完原始消息后仍可在第一个主题上使用它们。

因此，您无需删除邮件，您必须针对该主题设置适合您需求的保留政策。权衡通常是数据可用的时间量与所需的存储量。

【讨论】：

【解决方案3】：

有一个 Kafka 改进提案 (KIP) 可以为这个用例添加这个功能。

目前所有用于删除消息的 Scala 代码都在 0.11 Kafka 中，并且已经过测试可以正常工作

但是，在 Java AdminClient API 和文档中添加此功能尚未完成。

【讨论】：