storm + kafka：理解ack、fail和latency

Question

我正在使用KafkaSpout 从 2 个 Kafka 主题中消费，每个主题有 6 个分区。 spout 转到单个bolt 以解包相关字节，然后转到第二个bolt 进行进一步处理。

当我查看 storm-ui 时，这些数字并没有多大意义，我希望有人能解释一下。

1. Kafka spout 说它“确认”了约 3600 个元组，但失败了约 73M。查看下一组中的螺栓，我发现有些人确认了 ~73M，0 失败，而其他人确认了 ~1.3M（没有失败）。这些数字不应该以某种方式排列吗？

2. spout 行中的“完整延迟”约为 2500 毫秒，而螺栓的执行和处理延迟范围为

是的 - 此拓扑存在一些重大问题（请参阅this 相关问题）。

我附上 UI 的图像，希望有人能帮助我理解它。

Answer 1

听起来您的元组正在超时并且正在通知 spout。螺栓报告的零失败意味着螺栓没有明确地失败任何元组，这就是为什么我认为它们一定已经超时了。

根据您的其他问题，因为只有一些螺栓完成所有工作，所以您会收到严重的积压，这可能是元组超时的原因。

根据您其他问题中的评论，您可以更改为随机分组以将工作负载分散到所有螺栓，并且您可能会增加配置中的超时设置。