【问题标题】:How to trigger Oozie jobs on particular condition?如何在特定条件下触发 Oozie 作业?
【发布时间】:2025-12-17 13:15:01
【问题描述】:

我有一个文件夹,用于存储我的所有应用程序日志文件。如果在文件夹中创建了新的日志文件,我的 oozie 应该立即触发一个 Flume 作业,它将我的日志文件放入 HDFS。

如何在文件夹中创建新的日志文件时触发 Oozie 作业? 非常感谢有关此主题的任何帮助!!!

【问题讨论】:

    标签: hadoop mapreduce flume oozie


    【解决方案1】:

    这不是 Oozie 的工作方式。 Oozie 是一个调度器,有点像 CRON。首先,您指定工作流应该运行的频率,然后您可以添加对可用文件的要求作为附加要求。

    【讨论】:

    • 谢谢 jkbkot.. 我在这里找到了一些有用的东西 github.com/yahoo/oozie/wiki/Oozie-Coord-Use-Cases
    • 没问题。这是一个不错的发现。它似乎比 Oozie 文档更好。
    • 请注意,这些 wiki 页面已有 2-3 年历史
    • Oleksii 你是对的.. 我没有看到它的发布日期.. 谁能帮帮我!!!
    【解决方案2】:

    我认为更多的是如何将文件放置在 HDFS 中。您始终可以有一个参数化的 oozie 作业,可以使用 Oozie Java API 调用它,并将在 HDFS 上创建的文件的名称从客户端写入 HDFS 本​​身,除非流式传输。

    每次启动 oozie 工作流时,它都会在单独的线程上运行,这将允许您调用具有不同参数的多个 oozie 实例。

    【讨论】: