使用 Apache Oozie 编排 Apache Spark

Question

我们正在考虑将 apache spark 集成到我们的计算过程中，最初我们想使用 apache oozie 和标准 MR 或 MO（仅限地图）作业。

经过一些研究，仍有几个问题：

1. 是否可以使用 apache oozie 来编排 apache spark 进程？如果是，怎么做？
2. oozie 是否不再需要或者可以自己触发处理编排？ （统一似乎是 spark 的主要关注点之一）

回答时请考虑以下场景：

1. 每 4 小时执行一次工作流
2. 只要可以访问特定数据就执行工作流
3. 触发工作流程并使用参数对其进行配置

提前感谢您的回答。

Answer 1

Oozie 4.2 支持 Spark 作为操作类型，请参阅 docs。您提到的场景是常见的 Oozie 功能。