【发布时间】:2019-03-08 20:12:34
【问题描述】:
我正在使用 Apache Storm 1.1.2 和 Kafka 0.11 在 Java 9 中构建 Spring 应用程序
我注意到在高负载(每秒 2500 条消息)下,kafka spout 的延迟非常高。 Kafka Spout 的并行提示为 3。滞后几乎等于 Spout Committed Offset。
此延迟设置了拓扑每秒可以接收的最大消息量的上限,这不是很大。有谁知道这个的解决方案吗?
更新:我还注意到,即使有 10 个工人和 4 个并行提示,从我在 UI 中可以看出的不同 kafka spout 执行器之间的负载并没有分配。该主题有8个分区
【问题讨论】:
标签: java spring apache-kafka apache-storm