Kafka 流式读写到单独的集群答案

【问题标题】：Kafka streams read & write to separate clusterKafka 流式读写到单独的集群
【发布时间】：2020-03-11 03:18:05
【问题描述】：

之前已经回答了一个类似的问题，但该解决方案不适用于我的用例。

我们在 2 个独立的 DC 中运行 2 个 Kafka 集群。我们的整体传入流量在这 2 个 DC 之间分配。

我会在每个 DC 中运行单独的 Kafka 流式应用程序来转换该数据，并希望在单个 DC 中写入 Kafka 主题。我怎样才能做到这一点？

最终我们会在 Druid 中索引 kafka 主题数据。由于我们正在尝试聚合数据，因此无法运行单独的 Druid 集群。

我已经读到，使用单个 Kafka 流是不可能的。有没有办法可以使用另一个 Kafka 流从 DC1 读取并写入 DC2 kafka 集群？

【问题讨论】：

【解决方案1】：

正如您自己编写的那样，您不能使用 Kafka Streams API 从 Kafka 集群 A 读取数据并写入另一个 Kafka 集群 B。

相反，如果您想在 Kafka 集群之间移动数据（无论是在同一个 DC 中还是跨 DC），您应该使用 Apache Kafka 的 Mirror Maker 或 Confluent Replicator 等工具。

【讨论】：

谢谢，试图理解这一点。假设我正在使用 Kafka 流媒体应用程序写主题 1(DC1)。如果我要设置一个从主题 2(DC2) 到主题 1(DC1) 的镜像，并且，我希望这会创建一个合并流，其中包含来自 DC1 + DC2 的数据。它是否按我预期的方式工作？
是的。这应该可行，当然它取决于设置（例如主题 2 和主题 1 应该具有相同数量的分区和相同的分区方案）。