【问题标题】:Kafka does not replicate a topic to thoes brokers which were not assigned to the topic when it was created?Kafka不会将主题复制到创建主题时未分配给主题的经纪人?
【发布时间】:2018-09-03 01:42:38
【问题描述】:

我有一个复制因子为 3 的主题“reptop”。我的集群包含 4 个代理 [ID:0,1,2,3]。创建主题时,将代理 0,2 和 3 分配给该主题,领导者为“2”,现在当我的一个经纪人、领导者或追随者出现故障时,Kafka 不会将主题复制到经纪人:1,即使它是健康并且 ISR 小于复制因子,但是当已经关闭并最初分配给主题的代理重新启动时,kafka 会将主题复制到该节点。所以问题是为什么kafka不会将主题复制到创建主题时未分配主题的代理,即使集群上有健康的代理并且“ISR

【问题讨论】:

    标签: apache-kafka streaming bigdata cluster-computing broker


    【解决方案1】:

    这是设计使然。如果要重新分配分区,则必须使用重新分配工具进行。另一种选择是启动一个缺少 ID 的新代理实例。 Kafka 不像 hdfs 那样“自我修复”,而且在很多情况下您不希望它这样做。如果您愿意,可以使用诸如融合再平衡器之类的内容。

    【讨论】:

    • 谢谢 dawsaw,这有帮助。
    猜你喜欢
    • 2017-07-05
    • 1970-01-01
    • 1970-01-01
    • 2022-11-29
    • 2020-01-22
    • 1970-01-01
    • 1970-01-01
    • 2015-03-05
    • 1970-01-01
    相关资源
    最近更新 更多