【问题标题】:Will changing replication factor of Kafka Streams internal topics affect kafka streams? Will streaming be in error state?更改 Kafka Streams 内部主题的复制因子会影响 kafka 流吗?流媒体会处于错误状态吗?
【发布时间】:2020-03-28 20:05:56
【问题描述】:

我有两个 Kafka 流应用程序在两个不同的节点上运行。经纪人是 5。主题和变更日志主题的复制因子是 2。现在我想增加或减少内部主题的复制因子。这会影响我正在运行的 Kafka Streams 吗?我是否必须重新启动应用程序才能进行更改,还是必须更改流的应用程序 ID?如果是,有什么强有力的理由吗?

同样的问题是改变商店的备用副本(例如 NUM_STANDBY_REPLICAS_CONFIG)?

谢谢。

【问题讨论】:

    标签: apache-kafka apache-kafka-streams


    【解决方案1】:

    更改复制因子不会影响拓扑,因为(希望)每个分区的领导代理在复制过程发生时不会改变

    如果您选择降低复制因子,从而在应用程序运行时移除领导,那么您会看到诸如“代理未分配分区”之类的错误

    【讨论】:

    • 这是否意味着降低内部主题的复制因子会导致问题,所以我必须更改流的应用程序 ID,而增加复制因子不会导致任何问题?我做对了吗?
    • 总的来说,我从未降低过复制因子。这似乎是个坏主意。但是,是的,您必须通过 CLI 命令或更改应用程序 ID 来重置拓扑并清理内部主题
    • 增加内部主题的复制因子不会影响拓扑吧?它只会在降低数字时引起问题。我想我得到了答案。谢谢。
    猜你喜欢
    • 2019-12-11
    • 2021-01-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2014-11-12
    • 1970-01-01
    • 2022-06-16
    • 1970-01-01
    相关资源
    最近更新 更多