【问题标题】:KStream/KsqlDb application with Persistent State Store in KubernetesKubernetes 中具有持久状态存储的 KStream/KsqlDb 应用程序
【发布时间】:2022-01-09 15:36:49
【问题描述】:
  1. 这里有没有人有在 Kubernetes 环境中使用 Persistent State Store 部署 KStream/KsqlDb 应用程序而不失去自动可扩展性的经验?即自动创建状态存储卷和新容器的状态,并在容器消失后重新平衡,而不会丢失主题分区到数据卷映射。有可能吗?

  2. 当持久状态存储消失(或被删除)时,KStream 会自动从更改日志主题恢复状态存储,还是我们必须手动将更改日志主题消费者上的消费者偏移量重置为最早?

【问题讨论】:

    标签: kubernetes apache-kafka kafka-consumer-api apache-kafka-streams


    【解决方案1】:
    1. 这很难实现。但是,对于这种情况,您可以使用备用任务来获得 HA。
    2. 您无需执行任何操作。 Kafka Streams 将自动从变更日志中恢复状态。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-04-22
      • 2021-01-30
      • 2018-01-12
      • 1970-01-01
      • 2011-06-19
      • 1970-01-01
      • 1970-01-01
      • 2018-12-28
      相关资源
      最近更新 更多