将 Apache Consumer 连接到 Kafka 集群上的单个节点

Question

我在私有 LAN 上有一个 Kafka 集群，我想让消费者访问不同 LAN 上的数据，由于 网络限制，我只能访问主 IP 地址（没有 DNS ) 的集群，我们称之为 master-node。

我的消费者连接到集群没有问题，但是集群指示消费者从node1、node2和node3获取数据，我没有网络访问权限。

有没有办法让主节点代表我的消费者收集数据？

Answer 1

消费者直接连接到作为各个分区领导者的各个代理。这是为了提供高可扩展性。通过将所有流量汇集到单个端点，您将引入单点故障。

如果您需要这样的“代理”，那么我知道的唯一选择就是 Kafka REST 代理，然后您必须通过 HTTP 而不是原生 Kafka 客户端来消费和生产。