无重复的申请工作提交

Question

我们使用的是 DataStax Spark 6.0。 我们使用 crontab 提交作业，每 5 分钟运行一次。我们编写了脚本来查找它是否正在运行，以避免重复提交相同的应用程序。有没有办法停止作业提交或将作业保留在 Spark 级别的队列中，以避免具有相同应用程序的重复作业。

谢谢 拉克什

我尝试只使用 Crontab

Answer 1

您可以使用 oozie 来安排您的 spark 工作。