批量创建Kafka Connector

Question

我正在尝试在我的 Kafka Kubernetes 集群中创建 1000 个连接器，每个连接器都有一个任务、他自己的消费者组和独特的主题 （创建连接器后，我的最终目标是向连接器的主题发送大量请求，并测量我们实现的连接器接收器的性能。

每次创建都会触发整个集群的重新平衡，从而“阻止”连接器 RestAPI（对所有内容返回 409）并关闭任务。

所以我有三个问题：

1. 重新平衡是连接器的一种停机时间（正如我所说，重新平衡时有任务关闭和重新启动，连接器有一个任务）？
2. 我可以配置再平衡计划吗？
3. 有没有一种方法可以批量创建连接器，这样它会很快（比如在不到一秒的时间内创建 100 个连接器）并且不会导致停机（如果第一个问题的答案是肯定的）？

Answer 1

解决此问题的一种方法是启动 1000 个连接集群（例如，通过 Docker 编排），全部使用一个或几个连接器。

---

没有办法绕过再平衡。您将消费者添加到同一个消费者组中，因此总是会重新平衡。

我建议将多个主题/任务组合在一起而不是共享相似的配置，而不是每个连接器运行一个任务，这样可以限制重新平衡的工作量。