如何部署和运行 oozie 作业？答案

【问题标题】：how to deploy and run oozie job?如何部署和运行 oozie 作业？
【发布时间】：2014-02-22 21:24:07
【问题描述】：

我正在尝试使用 oozie 做一个简单的工作。
这将是一个简单的猪动作。

我有一个文件：FirstScript.pig，其中包含：

dual = LOAD 'default.dual' USING org.apache.hcatalog.pig.HCatLoader();
store dual into 'dummy_file.txt' using PigStorage();

和一个包含以下内容的 workflow.xml：

<workflow-app name="FirstWorkFlow" xmlns="uri:oozie:workflow:0.2">
    <start to="FirstJob"/> 
    <action name="FirstJob">
        <pig>
            <job-tracker>hadoop:50300</job-tracker>
            <name-node>hdfs://hadoop:8020</name-node>
            <script>/FirstScript.pig</script>
        </pig>
        <ok to="okjob"/>
        <error to="errorjob"/>
    </action>
    <ok name='okjob'>    
        <message>job OK, message[${wf:errorMessage()}]</message>
    </ok>    
    <error name='errorjob'>    
        <message>job error, error message[${wf:errorMessage()}]</message>
    </error>    
</workflow-app>

我已经创建了结构：

FirstScript
|- lib
|---FirstScript.pig
|- workflow.xml

现在呢？如何部署它并使用 oozie 运行？
有经验的人可以帮忙吗？

问候
帕维尔

【问题讨论】：

标签： hadoop apache-pig oozie

【解决方案1】：

我这样做：

hadoop fs -put workflow.xml some_dir/ 
oozie job --oozie http://your_host:11000/oozie -config cluster_conf.xml -run

我的 cluster_conf.xml 看起来像这样（请先检查您的端口，它们依赖于 Hadoop 发行版）：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
<property>
        <name>nameNode</name>
        <value>hdfs://my_nn:8020</value>
</property>
<property>
        <name>jobTracker</name>
        <value>my_jt:8050</value>
</property>
<property>
        <name>oozie.wf.application.path</name>
        <value>/user/my_user/some_dir/workflow.xml</value>
</property>
</configuration>

【讨论】：

您好，感谢您的回答。还有两个问题：这个cluster_conf.xml文件也应该上传到hdfs吗？第二：因为我还没有完成安装，所以我不确定我的 oozie 安装地址。我在哪里可以找到它？我知道cluster_conf.xml所需的配置可以在core-site.xml和mapred-site.xml中找到，但是oozie什么都没有……
嗨，很高兴它有帮助。不，您不需要将此 conf 文件复制到 hdfs。您可以在 oozie-site.xml 中找到 Oozie 配置；) 在我的安装中，它位于 /etc/oozie/conf/oozie-site.xml 中，只需查找 oozie.base.url 属性。

【解决方案2】：

配置文件应该指向job.properties，而不是file.xml。因为，job.properties 包含到 workflow.xml 的路径

oozie job --oozie http://your_host:11000/oozie -config **/job.properties** -run

【讨论】：