【问题标题】:Flink Job Cluster Kubernetes restoring from savepointFlink Job Cluster Kubernetes 从保存点恢复
【发布时间】:2020-06-11 14:03:16
【问题描述】:

我们目前在 kubernetes 上运行 flink 作为作业集群,使用这个 helm 模板:https://github.com/docker-flink/examples/tree/master/helm/flink(添加了一些配置)。

如果我想关闭集群,重新部署一个新映像(由于应用程序代码更新)并重新启动,我将如何从保存点恢复?

jobmanager 命令是在standalone-job.sh 命令上严格设置的,如果我在deployments k8s 资源的参数中添加了一个保存点,那么如果flink 重新启动(由于某些系统错误),它将始终从那个重新启动保存点,这不是我们想要的。

有没有办法从最新的保存点恢复,如果该保存点不存在,它将重新开始使用 kubernetes 作业集群 helm 配置?

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    我认为我不了解您的完整设置,但我从您的问题中了解到,您的 Flink 集群和作业恢复脚本位于standalone-job.sh 中。

    您可以定期创建保存点并使用最新的保存点 ID 更新配置。

    您的 Flink 恢复脚本不应指向特定的保存点,而应指向始终包含最新保存点 ID 的配置值。

    根据您对 Flink 作业的更改,并非总是可以从保存点恢复,因此您还需要考虑这种情况。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-10-23
      • 2021-06-16
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多