Kafka 节点宕机时 Kafka Connect 挂起

Question

我们正在测试 kafka connect，在我们的测试中注意到，当我们的一个 kafka 节点出现故障或不可用时，kafka connect 会出现故障（挂起）。

在我们的休息和分布式属性中，我们的代理配置如下所示：dp-kafka-01:9092、dp-kafka-02:9092、dp-kafka-03:9092。

我们正在考虑可能使用负载平衡器来维持正常运行时间，但我有兴趣了解 1) 其他人是否遇到此问题 2) 他们的解决方案。

非常感谢。

Answer 1

在 Connect REST API 前面放置一个负载均衡器不会阻止它们在代理失败时崩溃。

您需要更好地管理 Kafka，以防止整个系统崩溃。