【问题标题】:What happens when I partition data by key and then later on add a new partition to the topic in Kafka?当我通过键对数据进行分区,然后在 Kafka 的主题中添加一个新分区时会发生什么?
【发布时间】:2019-02-22 00:15:31
【问题描述】:

当我通过键对数据进行分区,然后在 Kafka 中为主题添加新分区时会发生什么?

现有记录会有变化吗?以及未来的数据将如何分区?

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    将新分区添加到特定主题时,现有数据的分区不会改变。 Kafka 不会尝试重新分发现有记录,并且此修改只会对新记录产生影响。请注意,默认情况下,Kafka 使用hash(key) % noOfPartitions 对数据进行分区,以确保将具有相同键的记录添加到同一分区。具有不同键的数据将以循环方式添加到分区中。

    【讨论】:

      猜你喜欢
      • 2019-03-26
      • 1970-01-01
      • 2019-07-29
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-01-13
      • 1970-01-01
      • 2019-06-26
      相关资源
      最近更新 更多