【发布时间】:2020-12-18 12:41:13
【问题描述】:
我有一个 kafka 连接源任务连接器(jdbc postgres 连接器),我可以从此连接器查看 kafka_connect_source_task_source_record_active_count_avg 指标。我注意到图表如下所示:
所以我们偶尔会看到 100 条记录的步骤。如果我将度量标准从 _avg 更改为 max 确实步长为 100。
不过,我不确定如何解释这些信息。这是否意味着现在(图表末尾)有超过 1100 条记录尚未提交给 kafka,并且已经持续了数周?我想知道为什么这个值没有减少。连接器位于一个非常活跃的数据库上,所以如果它总是在“后面”,我不会感到惊讶(这是正确的词吗?)。但我想知道它是否至少总是在消息的后面工作,或者它是否“累积”某些由于某种原因从未提交给 kafka 的消息,以及这个数字是否反映了这些“卡住”消息。
【问题讨论】:
标签: apache-kafka apache-kafka-connect