官方有提供checkpointing debug建议。

https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/large_state_tuning.html

现在遇到过的情况列举如下:


Flink checkpointing 耗时很长

Flink checkpointing 耗时很长

通过成功的checkpointing历史记录,查看start delay时间,推断出现在系统有背压。


Flink checkpointing 耗时很长

第一次checkpointing就耗时很长,最终超时。

是有特殊的脏数据导致代码逻辑出bug,一直在while循环。 barrier 流不下去,导致一个task一直不能checkpoint成功。

相关文章:

  • 2021-08-30
  • 2022-12-23
  • 2022-01-15
  • 2022-03-03
  • 2022-03-05
  • 2021-08-18
  • 2022-12-23
猜你喜欢
  • 2022-01-06
  • 2022-01-01
  • 2021-08-10
  • 2021-12-04
  • 2022-01-14
  • 2022-12-23
  • 2021-08-05
相关资源
相似解决方案