使用 DNS 访问 Kafka 集群

Question

我们在生产系统中运行 Kafka 集群（3 个物理节点），我们的应用程序将事件推送到 Kafka，这些事件由某个 diff 团队拥有的 Kafka 消费者消费。

问题：现在，每当我们在数据中心进行更改时，让从 DC1 到 DC2，我们的 Kafka IP 都会发生更改，我们必须要求我们的消费者更改 IP 并在他们的结局，我觉得很奇怪。

问题：我们有什么办法可以在 DNS 后面公开 Kafka 代理并更改 DNS 后面的 IP，同时从 DC1 移动到 DC2，反之亦然，以避免在消费者端发生变化？我知道adverted.listeners，但这会起作用吗？我也担心安全问题。

Answer 1

您可以使用 VIP，然后在您的消费者应用程序配置中使用它， 所以暴露给 VIP 和实际 IP 的消费者应用程序可以改变，

如下图

kafka: bootstrap-servers: vip-host:9092

请参阅为生产者提供的Kafka FAQs，但对消费者也应该以同样的方式工作

此外，提出并采用此issue 可能有助于获取更多信息。