【问题标题】:kafka cluter not all replication are coming as ISRkafka cluter 并非所有复制都以 ISR 的形式出现
【发布时间】:2018-03-26 05:45:36
【问题描述】:

我们有多节点 Kafka 1.0.1 集群(也尝试过早期版本),当我们创建这个集群时,我们将复制指定为 n-1,所以如果我们有 7 个节点,我们将给出 6 作为复制因子,但并非所有副本都是成为 ISR。对于某些主题和它创建的某些主题,会发生此问题。如果我们重新创建多节点集群 2-3 次,它会为所有副本创建 ISR。是否有人遇到过类似的问题并对此提供帮助非常感谢。

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:
    1. 您的复制因子似乎相当高。为什么将其设置为n-1?复制因子应该与集群大小无关。对于大多数用例,复制因子 3 就足够了。还有一些要求更高的用例使用 5 的复制因子。我想更高的复制因子将非常罕见。如果没有特殊需求,3个就足够了。

    2. 复制因子越大,复制数据需要的时间越多——因此,如果你不断地写给leader,follower需要一些时间来复制数据,网络带宽来复制数据显然是有限的。因此,如果复制因子越大,每个单独的追随者复制数据的带宽就越少,并且可能会回退,因此永远不会成为 ISR。

    【讨论】:

    • 谢谢,是的,这是问题,我们降低了复制并解决了问题。我们还更改了实例类型以具有更高的网络带宽。
    猜你喜欢
    • 2012-09-09
    • 1970-01-01
    • 2018-02-11
    • 2017-04-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-01-11
    • 1970-01-01
    相关资源
    最近更新 更多