【问题标题】:error while running example of oozie job运行 oozie 作业示例时出错
【发布时间】:2016-04-17 10:51:08
【问题描述】:

我尝试通过关注博客文章来运行我的第一个 oozie 工作。

我使用oozie-examples.tar.gz,解压后,将examples放在hdfs中。

我尝试在其中运行 map-reduce 作业,但不幸出现错误。

运行以下命令:

oozie job -oozie http://localhost:11000/oozie -config /examples/apps/map-reduce/job.properties -run

得到错误:

java.io.IOException: 未指定配置 org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:787) 在 org.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:1026) 在 org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:662) 在 org.apache.oozie.cli.OozieCLI.run(OozieCLI.java:615) 在 org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:218) 配置是 未指定

我不知道它要求什么配置,因为我使用的是 Cloudera VM,并且默认情况下它已在其中设置了所有配置。

【问题讨论】:

    标签: hadoop oozie oozie-coordinator


    【解决方案1】:

    oozie job -oozie http://localhost:11000/oozie -config /examples/apps/map-reduce/job.properties -run

    -config 参数采用本地路径而不是 HDFS 路径。 workflow.xml 需要存在于 HDFS 中,路径在 job.properties 文件中定义,属性为:

    oozie.wf.application.path=<path to the workflow.xml>
    

    【讨论】:

    • 您好,感谢您的纠正。运行相同的文件后,我在 /user/cloudera/oozie-oozi/0000004-160416014941788-oozie-oozi-W/mr-node--map-reduce/ 中获得了一个文件,即 action.xml。如何获得实际输出。因为我又在这里一无所知。
    • 你的 mr 作业的输出路径是什么,检查一下。如果您不知道,它应该在工作流 xml 中可用。打开 ui 并检查作业定义。
    • 如果您能告诉我有关用于引用 mr 工作路径的 xml 属性吗?
    • 我在 workflow.xml 的 mr 操作配置中引用了 mr 作业的输出路径。如果您运行 oozie map-reduce 示例,那么它应该是 mapred.output.dir -> /user/${wf:user()}/${examplesRoot}/output-data/${outputDir}
    • 我前面已经提到过,如下所示: mapred.output.dir/word_dir 是否必须参考根据您在上面提到的路径与特定用户一起使用
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-08-10
    • 2015-05-31
    • 1970-01-01
    • 1970-01-01
    • 2017-05-03
    相关资源
    最近更新 更多