【问题标题】:Scaling Kafka streams application using kubernetes horizontal pod scaling使用 kubernetes 水平 pod 缩放来缩放 Kafka 流应用程序
【发布时间】:2020-11-06 11:38:57
【问题描述】:

我们有一个带有 3 个 pod 的 kafka 流应用程序。应用程序扩展对我们来说是一项繁重的操作(因为大状态)。所以,我只想在绝对必要的情况下增加/缩放 pod。例如,如果应用程序利用率增加超过一个数字,比如说 10 分钟。

再一次,我不需要为突然爆发(几秒钟)的消息放大/缩小我的应用程序

寻找类似的配置: 窗口:15分钟 平均cpu:1000毫

所以,我想扩展的应用程序是平均 cpu 超过 15 分钟窗口大于 1000 毫。

【问题讨论】:

  • 只是想知道您是否阅读了文档 - kubernetes.io/docs/tasks/run-application/…,因为它通过与您想要做的非常相似的示例解释了一些自动缩放的方法。请彻底测试。卡夫卡不喜欢重新平衡。现在好多了,但它仍然是关闭任何平台的简单方法。

标签: kubernetes apache-kafka-streams kubernetes-pod


【解决方案1】:

您可以查看HPA policies

stabilizationWindowSeconds:

StabilizationWindowSeconds 是过去的秒数 在扩大或缩小规模时应考虑建议。 StabilizationWindowSeconds 必须大于或等于零并且 小于或等于 3600(一小时)。如果未设置,则使用默认值 值:- 放大:0(即未进行稳定化)

并且可以在metric target objectsaverageUtilization下设置CPU平均利用率限制。

【讨论】:

  • 这仅适用于 ScaleDown。我认为它不适用于 Scaleup
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2012-04-27
  • 2021-03-04
  • 2022-10-04
  • 2023-04-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多