我真的需要 Flink 检查点吗？

Question

我有一个 Flink 应用程序，它从 Kafka 读取一些事件，对来自 MySQL 的数据进行一些丰富，使用窗口函数缓冲数据并将窗口内的数据写入 HBase。我目前启用了检查点，但事实证明检查点非常昂贵，并且随着时间的推移，它需要的时间越来越长，并且会影响我的工作延迟（落后于 kafka 摄取率）。如果我想办法让我的 HBase 写入幂等，我是否有充分的理由使用检查点？我可以将内部 kafka 消费者客户端配置为每隔一段时间提交一次，对吗？

Answer 1

如果您要检查点的唯一内容是 Kafka 提供程序偏移量，那么检查点时间长到足以减慢您的工作流程，这会让我感到惊讶。或者状态是否也被保存在其他地方？如果是这样，您可以跳过它（只要根据您的说明，HBase 写入是幂等的）。

请注意，您还可以调整检查点间隔，并且（如果需要）对 RocksDB 使用增量检查点。