【发布时间】:2025-12-17 13:15:01
【问题描述】:
我有一个文件夹,用于存储我的所有应用程序日志文件。如果在文件夹中创建了新的日志文件,我的 oozie 应该立即触发一个 Flume 作业,它将我的日志文件放入 HDFS。
如何在文件夹中创建新的日志文件时触发 Oozie 作业? 非常感谢有关此主题的任何帮助!!!
【问题讨论】:
标签: hadoop mapreduce flume oozie
我有一个文件夹,用于存储我的所有应用程序日志文件。如果在文件夹中创建了新的日志文件,我的 oozie 应该立即触发一个 Flume 作业,它将我的日志文件放入 HDFS。
如何在文件夹中创建新的日志文件时触发 Oozie 作业? 非常感谢有关此主题的任何帮助!!!
【问题讨论】:
标签: hadoop mapreduce flume oozie
这不是 Oozie 的工作方式。 Oozie 是一个调度器,有点像 CRON。首先,您指定工作流应该运行的频率,然后您可以添加对可用文件的要求作为附加要求。
【讨论】:
我认为更多的是如何将文件放置在 HDFS 中。您始终可以有一个参数化的 oozie 作业,可以使用 Oozie Java API 调用它,并将在 HDFS 上创建的文件的名称从客户端写入 HDFS 本身,除非流式传输。
每次启动 oozie 工作流时,它都会在单独的线程上运行,这将允许您调用具有不同参数的多个 oozie 实例。
【讨论】: