【问题标题】:Storm Kafka Spout has very high lagStorm Kafka Spout 的延迟非常高
【发布时间】:2019-03-08 20:12:34
【问题描述】:

我正在使用 Apache Storm 1.1.2 和 Kafka 0.11 在 Java 9 中构建 Spring 应用程序

我注意到在高负载(每秒 2500 条消息)下,kafka spout 的延迟非常高。 Kafka Spout 的并行提示为 3。滞后几乎等于 Spout Committed Offset。

此延迟设置了拓扑每秒可以接收的最大消息量的上限,这不是很大。有谁知道这个的解决方案吗?

更新:我还注意到,即使有 10 个工人和 4 个并行提示,从我在 UI 中可以看出的不同 kafka spout 执行器之间的负载并没有分配。该主题有8个分区

【问题讨论】:

    标签: java spring apache-kafka apache-storm


    【解决方案1】:
    猜你喜欢
    • 2019-03-14
    • 1970-01-01
    • 2020-08-27
    • 1970-01-01
    • 1970-01-01
    • 2015-03-13
    • 2017-08-24
    • 2020-05-01
    • 2013-06-24
    相关资源
    最近更新 更多