如何统计活跃的 Kafka 消费者？

Question

我们正在收集一些匿名分析，以利用我们当前基于 REST 的解决方案来跟踪每月活跃用户，并考虑迁移到 Apache Kafka。是否可以对消费者进行一些统计（计数、连接、传递的消息）？如果是，它对 GDPR 友好吗？

Answer 1

Kafka 并没有真正提供开箱即用的功能。

这些都没有附加可识别的数据

• 可以通过标准网络工具计算 TCP 连接数。
• 消息传递的字节数需要外部 JMX 指标聚合。
• 如果没有自定义代码，消息计数不可用（因为消费者可以选择根本不跟踪偏移量，或者他们可以自己倒带）

要计算活跃个消费者，您需要获取所有消费者组，然后迭代这些组的消费者。