【问题标题】:Does Apache Flink cache jobs?Apache Flink 是否缓存作业?
【发布时间】:2021-12-06 12:51:14
【问题描述】:

我注意到,与再次启动它相比,每次运行新作业所需的时间大约长 20%?

如果一个作业多次运行,flink 是否会缓存一些结果并重用它们?如果是这样,我该如何控制?

我想测量我的任务运行了多长时间,但每次我重新运行它们都比以前快。

【问题讨论】:

  • 重启时是无状态重启,还是从检查点或保存点恢复?
  • @DavidAnderson 我没有使用检查点。至少不主动,我不知道 flink 是否自己做类似的事情。我通过从控制台再次运行它来重新启动任务: ./bin/flink run --class org....

标签: apache-flink flink-streaming flink-batch


【解决方案1】:

如果您使用一些有状态的函数和配置的检查点和保存点,您的工作可能需要一些时间才能从检查点恢复状态。

为了使状态容错,Flink 需要检查点状态。检查点允许 Flink 恢复流中的状态和位置,从而为应用程序提供与无故障执行相同的语义。

更多关于checkpointinghere的信息。

Monitoring checkpointing

【讨论】:

  • 嗨,谢谢,我查过了,我没有使用检查点。至少不是故意的。不知道flink是不是自己创建的?此外,我的任何工作都没有“检查点详细信息”,所以我假设我没有使用任何检查点。所以我想知道为什么我的第一次运行比以后的运行慢得多。我通过控制台重新运行我的工作: ./bin/flink run --class org.myJob.Main /home/dab/myJob.jar
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-27
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多