如何为生产者传递 Apache Kafka Mirrormaker2 配置答案

【问题标题】：How to pass Apache Kafka Mirrormaker2 config for the producer如何为生产者传递 Apache Kafka Mirrormaker2 配置
【发布时间】：2021-12-01 11:04:23
【问题描述】：

我目前正在测试 Mirrormaker 在两个集群之间复制数据。不幸的是，各个生产者似乎没有使用生产者配置，然后在https://github.com/apache/kafka/blob/trunk/connect/mirror/README.md 中记录。

我的配置文件简化了：

clusters=INPUT,BACKUP
                                     
INPUT.consumer.compression.type=lz4       
BACKUP.producer.compression.type=lz4
                            
INPUT->BACKUP.enabled = true                       
INPUT->BACKUP.topics=mytopic.*
...

那么运行mirrormaker2（connect-mirror-maker.sh mirrormaker.properties）时的日志输出不显示这个选项：

INFO ProducerConfig values:
        ...
        compression.type = none
        ...

使用的 Kafka 版本是 2.7.1。

如何正确传递设置，以便生产者正确压缩？我还需要传递一些其他设置，但是一旦这有效，其他设置也应该这样做。

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

两种可能的解决方案：

在 mm2 工人的属性文件中启用 connector.client.config.override.policy。您需要密切关注https://docs.confluent.io/platform/current/connect/references/allconfigs.html#override-the-worker-configuration。
启动 Kafka Connect 集群并一一创建 MirrorSourceConnector 和 MirrorCheckpointConnector，并覆盖生产者配置。您仍然需要参考上面的官方 Confluent 文档。我选择了这种方法，它很有效。

【讨论】：

感谢@wenli-wan，我尝试了上面的解决方案 1，但它似乎仍然无法选择。我厌倦了几种不同的方式（使用 INPUT/BACKUP 等前缀）但没有利用。您能否发布第一种方法的完整配置，我想保持简单，不一定启动连接集群。
我选择了第二种方法，它有效，但我没有机会尝试第一种。