当我获取 /connectors 路由时，Kafka 连接 REST Api 崩溃答案

【问题标题】：Kafka connect REST Api crashing when I GET the /connectors route当我获取 /connectors 路由时，Kafka 连接 REST Api 崩溃
【发布时间】：2021-05-13 23:04:28
【问题描述】：

我目前正在一个 3 节点集群上部署 Kafka 连接集群。我的集群是一个设置了 kerberos 的 cloudera（版本 5.x）。

在尝试 Kafka 连接之前，我设法设置了一个主题，用于生产者和消费者控制台实现。我认为这可能与过去有效。

我遇到了这个错误：

错误牧民工作线程中未捕获的异常，退出：（org.apache.kafka.connect.runtime.distributed.DistributedHerder:228） org.apache.kafka.common.errors.TimeoutException: 在分区 connect-offsets-0 的位置可以确定之前超时 60000 毫秒

在寻找类似问题后，我发现有些人设法通过设置主题connect-status、connect-offsets、connect-configs 使其工作。

我喜欢的：

bin/kafka-topics.sh --create --topic connect-status --zookeeper address:2181 --replication-factor 1 --partitions 1

bin/kafka-topics.sh --create --topic connect-offsets --zookeeper address:2181 --replication-factor 1 --partitions 1

bin/kafka-topics.sh --create --topic connect-configs --zookeeper address:2181 --replication-factor 1 --partitions 1

它对我不起作用，而且即使它会起作用，我有点惊讶的是，用partitions 或1 设置这些主题在生产中是可以接受的，但它不可能是最终解决方案没有？

我能做什么？

编辑：所以我只是再次以分布式模式运行 kafka 连接，而没有尝试到达 /connectors 路由，但它还是崩溃了。

参考资料：

Not able to run Kafka Connect in distributed mode - Error while attempting to create/ find topics 'connect-offsets'

https://github.com/confluentinc/kafka-connect-jdbc/issues/189

【问题讨论】：

无论复制如何，这些主题都不应该是一个分区。这是日志中唯一的错误吗？
这是唯一的错误是的
好吧，超时会告诉我引导服务器或安全设置不正确。您还可以修改 log4j.properties 以获得更多日志输出
我通过在我拥有所有权限的文件夹中使用另一个版本的 kafka 2.7（vs 2.1 或其他版本）来让它工作。
好的，连接好，broker 不需要是相同的版本（而且也不应该在同一台机器上），所以就这样运行？

标签： apache-kafka apache-kafka-connect

【解决方案1】：

也许 CDH 团队的一些技巧让这些主题只有一个分区。但是，如果您将 --replication-factor 设置为 3，那么当领导失败时，您不会丢失连接器的 Kafka Connect 配置/偏移量/状态。

【讨论】：