【发布时间】:2018-03-26 05:45:36
【问题描述】:
我们有多节点 Kafka 1.0.1 集群(也尝试过早期版本),当我们创建这个集群时,我们将复制指定为 n-1,所以如果我们有 7 个节点,我们将给出 6 作为复制因子,但并非所有副本都是成为 ISR。对于某些主题和它创建的某些主题,会发生此问题。如果我们重新创建多节点集群 2-3 次,它会为所有副本创建 ISR。是否有人遇到过类似的问题并对此提供帮助非常感谢。
【问题讨论】:
标签: apache-kafka
我们有多节点 Kafka 1.0.1 集群(也尝试过早期版本),当我们创建这个集群时,我们将复制指定为 n-1,所以如果我们有 7 个节点,我们将给出 6 作为复制因子,但并非所有副本都是成为 ISR。对于某些主题和它创建的某些主题,会发生此问题。如果我们重新创建多节点集群 2-3 次,它会为所有副本创建 ISR。是否有人遇到过类似的问题并对此提供帮助非常感谢。
【问题讨论】:
标签: apache-kafka
您的复制因子似乎相当高。为什么将其设置为n-1?复制因子应该与集群大小无关。对于大多数用例,复制因子 3 就足够了。还有一些要求更高的用例使用 5 的复制因子。我想更高的复制因子将非常罕见。如果没有特殊需求,3个就足够了。
复制因子越大,复制数据需要的时间越多——因此,如果你不断地写给leader,follower需要一些时间来复制数据,网络带宽来复制数据显然是有限的。因此,如果复制因子越大,每个单独的追随者复制数据的带宽就越少,并且可能会回退,因此永远不会成为 ISR。
【讨论】: