镜像制造者 2 中的主题爆炸

【问题标题】：Topic explosion in mirrormaker 2镜像制造者 2 中的主题爆炸
【发布时间】：2022-01-30 12:35:15
【问题描述】：

mirrormaker 2 是否需要 6 个系统主题（线路两侧）才能复制每个主题？我担心这可能会导致话题爆炸。我们需要在 kafka 集群之间进行双向同步

【问题讨论】：

有心跳主题和偏移主题。你指的其他4个是什么？ cwiki.apache.org/confluence/plugins/servlet/…
链接指向一个空白页面。请问我可以有正确的链接吗？我们有 mm2-configs、mm2-offset-syncs、mm2-offsets、mm2-status、checkpoints.internal、heartbeats。所以一共6个主题
嗯。你是对的。无论如何搜索KIP382，它解释了所有内部主题。

【解决方案1】：

其中三个主题适用于 Kafka Connect，而不是 MirrorMaker2（配置、偏移和状态}。

不，这些都不是每个镜像主题独有的，而是 Kafka Connect 集群及其组 ID。您可以在同一个 Connect 集群中运行多个镜像，从而不会创建新的内部主题集。

【讨论】：

只是为了确保我理解你@oneCricketeer：主题“mm2-configs、mm2-offset-syncs、mm2-offsets、mm2-status”是由 Kafka connect 创建的？由于 MM2 依赖于 Kafka 连接，它们是必需的吗？我们可以在同一个 Kafka 集群中运行多个 MM 实例吗？
只是mm2-configs, mm2-offsets, mm2-status。您可以找到此处定义的这些主题的用途 - github.com/apache/kafka/blob/trunk/config/… 是的，您可以运行多个托管 MirrorSourceConnector 任务的 Kafka Connect 工作人员