高性能 Kafka 消费者答案

【问题标题】：High Performing Kafka Consumer高性能 Kafka 消费者
【发布时间】：2021-12-04 20:43:21
【问题描述】：

我们需要从 Kafka 主题中消费。主题由制作团队提供，我们无法控制。生产者发布了大量我们的消费者无法消费的消息。然而，我们只需要生产量的 5-10%。目前在消费者中，我们反序列化消息并根据某些属性丢弃 90-95% 的消息。消费者在白天的大部分时间都落后于 5-10L 消息。我们甚至尝试在每个消费者中使用 5 个消费者和 30 个线程，但没有多大成功。

有什么方法可以让消费者使用一些过滤条件订阅主题，以便我们只接收我们感兴趣的消息。

任何帮助或指导将不胜感激。

【问题讨论】：

标签： apache-kafka kafka-consumer-api

【解决方案1】：

如果不消耗甚至部分反序列化所有消息，就不可能过滤消息。

【讨论】：

【解决方案2】：

不支持代理端过滤，但已经讨论了很长时间 (https://issues.apache.org/jira/browse/KAFKA-6020)

您提到您无法控制生产者。但是，如果您可以让生产者将您过滤的属性添加到消息头中，则可以节省对消息正文的解析。您仍然需要阅读所有消息，但解析可能会占用大量 CPU，因此跳过这有助于减少延迟。

【讨论】：

老实说，我希望有一个“仅标题”的消费者。这个用例出现了很多次。