在 Oozie 中为 Map-Reduce 作业指定驱动程序答案

【问题标题】：Specifying Driver Program for Map-Reduce Job in Oozie在 Oozie 中为 Map-Reduce 作业指定驱动程序
【发布时间】：2015-06-15 20:11:57
【问题描述】：

<workflow-app xmlns='uri:oozie:workflow:0.1' name='map-reduce-wf'>
    <start to='wordcount'/>

    <action name='wordcount'>
        <map-reduce>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                 <property>
                    <name>mapred.input.dir</name>
                    <value>${inputDir}</value>
                </property>
                <property>
                    <name>mapred.output.dir</name>
                    <value>${outputDir}</value>
                </property>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>mapred.reduce.tasks</name>
                    <value>${numberofReducers}</value>
                </property>
                <property>
                    <name>mapred.reducer.new-api</name>
                    <value>true</value>
                </property>
                <property>
                    <name>mapred.mapper.new-api</name>
                    <value>true</value>
                </property>
            </configuration>
        </map-reduce>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name='end'/>
</workflow-app>

我正在尝试使用 Oozie 运行 map-reduce 作业。谁能告诉我如何在 workflow.xml 中指定 Driver 程序？ {Oozie 如何知道要运行哪个 Mapper 和 Reducer？}

这可以在不指定属性的情况下完成吗：

<property>
    <name>mapred.mapper.class</name>
    <value></value>
</property>
<property>
    <name>mapred.reducer.class</name>
    <value>org.myorg.WordCount.Reduce</value>
</property>

【问题讨论】：

标签： hadoop mapreduce oozie

【解决方案1】：

需要告诉 Oozie 运行哪个 mapper/reducer，否则目的是什么？如果您不想将其包含在实际工作流程中，您可以通过“job-xml”配置将其提交到 xml 文件中。请参阅以下内容：

http://oozie.apache.org/docs/4.0.0/WorkflowFunctionalSpec.html#a4.1_Workflow_Job_Properties_or_Parameters http://oozie.apache.org/docs/4.0.0/WorkflowFunctionalSpec.html#a3.2.2_Map-Reduce_Action

请注意，后面的值会覆盖前面的值。这意味着，如果您配置了两次mapred.reducer.class，则最后一个条目将是最终被使用的条目。

【讨论】：