flink checkpoint 文件什么时候清理？答案

【问题标题】：When are flink checkpoint files cleaned?flink checkpoint 文件什么时候清理？
【发布时间】：2018-03-23 18:29:52
【问题描述】：

我有一份流媒体工作：

从 Kafka 读取 --> 将事件映射到其他一些 DataStream --> 通过 (0) 键 --> 减少 15 秒处理时间的时间窗口并写回 Redis 接收器。

启动时，一切正常。问题是，过了一会儿，磁盘空间被我认为是链接检查点的地方填满了。

我的问题是，在链接作业运行时是否应该清理/删除检查点？找不到这方面的任何资源。

我正在使用写入 /tmp 的文件系统后端（无 hdfs 设置）

【问题讨论】：

【解决方案1】：

Flink 在运行时会清理检查点文件。在某些极端情况下，它“忘记”清理所有文件以防系统故障。但对于 Flink 1.3，社区正在努力解决所有这些问题。

在您的情况下，我假设您没有足够的磁盘空间来将 Windows 的数据存储在磁盘上。

【讨论】：

【解决方案2】：

默认情况下，检查点不会在外部持久化，仅用于从故障中恢复作业。当程序被取消时，它们会被删除。

如果您采用外部化检查点，那么它有两个策略

ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION：在作业取消时保留外部化检查点。请注意，在这种情况下，您必须在取消后手动清理检查点状态。

ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION： 作业取消时删除外部化检查点。仅当作业失败时，检查点状态才可用。

【讨论】：