【问题标题】:Auto increase Kafka partitions based on load on kubernetes根据 kubernetes 上的负载自动增加 Kafka 分区
【发布时间】:2022-02-21 23:50:51
【问题描述】:

我们已经在 kubernetes 上安装了 Kafka,我们希望 Kafka 代理分区需要根据输入源的负载自动增加,所以我想知道是否有任何可能的方法来根据 kubernete 上的负载增加分区

【问题讨论】:

    标签: kubernetes apache-kafka load


    【解决方案1】:

    经纪人没有可扩展的分区;主题。

    您必须为此构建自己的脚本,因为有一些警告

    1. 向主题添加分区不会移动数据,也不会减少生产者的负载。它可能增加代理集群负载,因为现在可以写入/读取更多数据。减少代理负载的唯一方法是添加更多代理,而不仅仅是分区

      • 如果您添加代理,则需要有跨代理移动分区的脚本,因为这也不是自动的
    2. 如果消费者依赖它(例如,压缩主题),它还将删除消费者的任何订购保证

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-04-28
      • 2017-03-25
      • 2013-12-09
      • 1970-01-01
      • 2020-10-23
      • 2011-02-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多