我们可以在 oozie coordinator 中创建动态目录结构吗？答案

【问题标题】：can we create dynamic directory structure in oozie coordinator?我们可以在 oozie coordinator 中创建动态目录结构吗？
【发布时间】：2017-03-20 17:30:57
【问题描述】：

我想创建一个事件驱动的 oozie 协调器。但目录路径会定期更改。我不想在代码中硬编码目录。

    <datasets>
        <dataset name="test_co" frequency="${coord:minutes(120)}" initial-instance="${coordStartDate}" timezone="${timezone}">
            <uri-template>**${nameNode}/dynamicName**</uri-template>
            <done-flag>_OK</done-flag>
        </dataset>
    </datasets>

如何在触发此操作之前运行 shell 脚本，它会创建文件夹名称并检查该文件夹中是否存在 OK 文件？

【问题讨论】：

标签： oozie oozie-coordinator

【解决方案1】：

Oozie 支持使用协调器数据集创建动态目录结构，即过时的目录（如果可能与一起使用）。例如

<datasets>  
     <dataset name="logs" frequency="${coord:hours(1)}" initial-instance="2009-       01-01T01:00Z" timezone="UTC">
    <uri-template>hdfs://bar:9000/app/logs/${YEAR}${MONTH}/${DAY}/${HOUR}</uri-template>
  </dataset>
</datasets>

今天运行以上 oozie 代码后，即 22-03-2017 16:00 PM 目录结构如下：hdfs://bar:9000/app/logs/2017/03/22/16

【讨论】：