【问题标题】:Kafka Stream output rate is not as per the windowKafka Stream 输出率与窗口不符
【发布时间】:2020-12-17 11:28:45
【问题描述】:

我正在使用 Kafka 流来执行聚合以找到窗口平均值。 (3秒窗口大小)

我尝试了 tumbling window 和 hope window ,但输出主题只有每 30 秒才有结果,而不是每 3 秒。

我将窗口大小更改为更高的值(1 分钟)和更低的值(1 秒)。总之,输出生成速率接近 25 到 30 秒。内部窗口大小正确。

Kafka中是否有任何配置可以提高输出生成速度。

【问题讨论】:

    标签: apache-kafka apache-kafka-streams


    【解决方案1】:

    Kafka 流将生成大约 30 秒的输出,因为流配置 StreamsConfig.COMMIT_INTERVAL_MS_CONFIG 默认为 30000 毫秒

    我相信 COMMIT_INTERVAL_MS_CONFIG 也决定了完成 kafka-streams 任务并将其发布到目标主题所需的时间。

    请参考以下Kafka文档中提到的配置:

    https://kafka.apache.org/25/documentation/streams/developer-guide/config-streams.html

    【讨论】:

    • 谢谢阿希尔。上述修复工作正常。
    猜你喜欢
    • 1970-01-01
    • 2019-06-10
    • 1970-01-01
    • 1970-01-01
    • 2018-04-28
    • 2018-10-27
    • 2017-10-01
    • 2017-10-30
    • 1970-01-01
    相关资源
    最近更新 更多