【问题标题】:Delete hdfs path after executing the action in oozieoozie中执行动作后删除hdfs路径
【发布时间】:2017-08-15 18:35:44
【问题描述】:

如何在执行类似于在操作之前删除的 prepare 标记的操作后删除 hdfs 路径。

<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.2">
    ...
    <action name="[NODE-NAME]">
        <pig>
            <job-tracker>[JOB-TRACKER]</job-tracker>
            <name-node>[NAME-NODE]</name-node>
            <prepare>
               <delete path="[PATH]"/>
               ...
               <mkdir path="[PATH]"/>
               ...
            </prepare>
            <job-xml>[JOB-XML-FILE]</job-xml>
            <configuration>
                <property>
                    <name>[PROPERTY-NAME]</name>
                    <value>[PROPERTY-VALUE]</value>
                </property>
                ...
            </configuration>
            <script>[PIG-SCRIPT]</script>
            <param>[PARAM-VALUE]</param>
                ...
            <param>[PARAM-VALUE]</param>
            <argument>[ARGUMENT-VALUE]</argument>
                ...
            <argument>[ARGUMENT-VALUE]</argument>
            <file>[FILE-PATH]</file>
            ...
            <archive>[FILE-PATH]</archive>
            ...
        </pig>
        <ok to="[NODE-NAME]"/>
        <error to="[NODE-NAME]"/>
    </action>
    ...
</workflow-app>

【问题讨论】:

  • 我不认为有任何删除目录发布操作的选项,我会在猪脚本的末尾添加删除所需目录的命令。

标签: hadoop oozie oozie-coordinator oozie-workflow


【解决方案1】:

在 pig 动作中没有等价物。

你基本上有两种选择:

  • 在猪脚本中添加删除命令
  • ok 元素或okerror 元素中添加fs action。请注意,如果您希望成功或失败的流程在删除后有所不同,则需要两个不同的操作。

【讨论】:

  • 我也在考虑加个FS动作来做,如果有这样的功能就好了。
猜你喜欢
  • 1970-01-01
  • 2021-06-07
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多