【问题标题】:How to have flink check point/savepoint backup on multiple data center如何在多个数据中心进行 flink 检查点/保存点备份
【发布时间】:2021-11-22 14:56:36
【问题描述】:

我有 flink 应用程序,它将在 DC-1(数据中心 1)的一个节点上运行,我们计划使用 HDFS 或 AMAZON-S3 进行保存点和检查点状态备份。我的组织对 HDFS 和 S3 的支持是它不会将写入 DC-1 的数据复制到 DC-2(他们正在研究它,但时间线很长)。考虑到这一点,有没有办法通过 flink 本身以某种方式将 flink 检查点/保存点写入两个 DC? 谢谢

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    据我所知,Flink 中没有这样的机制。通常,断言数据得到支持不是数据处理管道的责任。最简单的解决方法是创建一个定期将检查点复制到 DC-2 的 CRON 作业。

    【讨论】:

      猜你喜欢
      • 2023-01-18
      • 1970-01-01
      • 2019-07-25
      • 1970-01-01
      • 1970-01-01
      • 2021-06-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多