我有一个 3 zk 节点集群。以及 7 个 kafka 代理 节点。
因此，当我创建任何主题时，我可以使用命令行参数设置副本因子和分区数。
这些分区被传播到所有 7 个代理。但是有一个主题，即__consumer_offsets，它是自动创建的，并且它只传播到 1 个代理（id=0）和 1 个复制。
我知道我可以更改配置文件中的默认复制因子编号。
但是，此主题仅复制到一个代理。那么可以更改哪些参数以将分区复制到所有代理。
【问题讨论】：
标签： apache-kafka
对我来说这听起来很奇怪。我部署了一个 3 个 Kafka 代理集群，我的 __consumer_offsets 主题有 50 个分区（默认）分布在 3 个代理之间，并且有 3 个（默认）作为副本。
当您从单个 Kafka 代理开始时，您所描述的可能会发生，创建用于阅读主题的消费者，以便自动创建 __consumer_offsets 并且它将仅在代理 0（唯一一个）上。之后，添加新的 Kafka 代理：不执行任何操作，__consumer_offsets 仍将保留在代理 0 上；如上所述，您需要使用 Kafka 手动重新分配分区。
【讨论】：
您将需要使用 Kafka 分区重新分配。不幸的是，目前这是一个半手动过程： https://kafka.apache.org/documentation/#basic_ops_cluster_expansion
【讨论】：
您需要在代理配置中将“offsets.topic.replication.factor”设置为所需的副本数。
偏移主题的复制因子（设置更高以确保 可用性）。确保有效的复制因子 offsets topic是配置的值，存活的broker数有 至少是第一次请求时的复制因子 对于偏移量主题。如果没有，要么创建偏移量主题 失败，否则它将获得 min(alive brokers, 配置的复制因子）
默认值：3
重要性：高
【讨论】：