flink - 测量背压答案

【问题标题】：flink - measuring backpressureflink - 测量背压
【发布时间】：2016-02-13 20:38:17
【问题描述】：

我正在使用 Flink 进行一些测试，以与其他一些流媒体平台进行比较。测试的数据源是一个 kafka 主题，具有不同的流量，我试图弄清楚 flink 是否跟上。

有没有办法知道 flink 对 kafka 消费者施加了多少“背压”？ IE 跟上了吗？

【问题讨论】：

【解决方案1】：

Apache Kafka 项目提供了一些工具来从 Zookeeper 中获取主题和消费者信息。在这种情况下，您可以使用ConsumerOffsetChecker。

工具要输出给你的是“offset lag”，即分区中最新的偏移量与当前消费者位置之间的差异。

请注意，Flink 大致以检查点间隔的频率更新 Zookeeper 中的偏移量，因此您看到的信息并非 100% 准确，因为它不考虑飞行中的记录。但它会让您很好地了解背压是否正在增加，或者一切是否顺利。

顺便说一句，如果您遇到 Flink 无法在生成主题时使用来自主题的数据，请向邮件列表中的 Flink 开发人员寻求帮助。在我最近做的一些实验中，我发现 Flink 的 Kafka Consumer 可以读取非常高的吞吐量。

【讨论】：

【解决方案2】：

在 kafka_2.11-0.10.0.0 中，消费者偏移检查器已弃用，kafka-consumer-groups 根据组进行偏移检查。

就我而言，就 flinkkafkaconsumer 而言，我没有看到任何组与 kafka-consumer-groups 一起列出。

在 flink-kafka-consumer 的情况下，group.id 对于偏移量监控没有多大用处。你可以在flink kafka consumer groupId not working找到更多信息

【讨论】：