如何保持 flink 批处理作业在本地连续运行

Question

我正在 Windows 10 机器上通过 flink 批处理机制练习文件读取。

我从 flink 官网下载了 flink-1.7.2-bin-hadoop24-scala_2.12.tgz 并执行了 start-cluster.bat 。

我通过 Flink 的 UI 上传了 jar，并且能够执行作业，但作业在几秒钟内完成。

我想保持作业持续运行，以便我可以测试我的用例。

您能指导我实现这一目标的可能方法吗？

Answer 1

在 Flink 中，批处理作业会一直运行，直到处理完所有输入，此时它们已完成并终止。如果你想要连续处理，那么你应该要么

• 使用一些部署自动化（在 Flink 之外）来安排根据需要创建新的批处理作业，或者
• 实现流式作业

在您的情况下，听起来您可能正在寻找StreamExecutionEnvironment.readfile 上的FileProcessingMode.PROCESS_CONTINUOUSLY 选项——请参阅docs 了解更多信息。