【问题标题】:How to interpret the active record count metric from a kafka connect source task?如何解释来自 kafka 连接源任务的活动记录计数指标?
【发布时间】:2020-12-18 12:41:13
【问题描述】:

我有一个 kafka 连接源任务连接器(jdbc postgres 连接器),我可以从此连接器查看 kafka_connect_source_task_source_record_active_count_avg 指标。我注意到图表如下所示:

所以我们偶尔会看到 100 条记录的步骤。如果我将度量标准从 _avg 更改为 max 确实步长为 100。

不过,我不确定如何解释这些信息。这是否意味着现在(图表末尾)有超过 1100 条记录尚未提交给 kafka,并且已经持续了数周?我想知道为什么这个值没有减少。连接器位于一个非常活跃的数据库上,所以如果它总是在“后面”,我不会感到惊讶(这是正确的词吗?)。但我想知道它是否至少总是在消息的后面工作,或者它是否“累积”某些由于某种原因从未提交给 kafka 的消息,以及这个数字是否反映了这些“卡住”消息。

【问题讨论】:

    标签: apache-kafka apache-kafka-connect


    【解决方案1】:

    源记录活动计数

    :此任务已产生但尚未完全写入 Kafka 的最新记录数。

    https://cwiki.apache.org/confluence/display/KAFKA/KIP-196%3A+Add+metrics+to+Kafka+Connect+framework#KIP196:AddmetricstoKafkaConnectframework-SourceTaskMetrics

    您还可以绘制您正在制作的主题的偏移量,以查看它们是否遵循相同的增加步骤

    替代方法是使用 Debezium 而不是 JDBC 源代码

    【讨论】:

    • 我想知道这 1000 条未写入的消息是否与过去 2 周的 相同 消息相同,或者是否只是滚动积压。如果有 1000 条旧的卡住消息,这是一个问题,但如果总是有积压,并且 kafka 可以通过它们工作,那就没问题了。有没有办法检查?绘制偏移量会显示此信息吗?
    • 如果没有连接器进程的堆转储之类的东西,您是否能够获得该信息
    猜你喜欢
    • 1970-01-01
    • 2021-08-01
    • 1970-01-01
    • 1970-01-01
    • 2013-08-02
    • 2017-11-17
    • 1970-01-01
    • 2017-09-17
    • 1970-01-01
    相关资源
    最近更新 更多