如何计划在 HDInsight 群集上运行 Java 程序的 Oozie 工作流答案

【问题标题】：How to schedule an Oozie workflow that runs a Java program on a HDInsight cluster如何计划在 HDInsight 群集上运行 Java 程序的 Oozie 工作流
【发布时间】：2014-09-18 15:54:12
【问题描述】：

我正在尝试在 oozie 工作流程中运行一组步骤。其中一个步骤涉及运行从 job.properties.template 文件读取参数的 java 程序。如何在 Azure HDInsight 群集上安排这个（我已经有一个正在运行的群集）。

另外，有什么方法可以进入 HDInsight 集群的头节点，就像我们通过 ssh 进入 EMR 集群的主节点一样。我在某处读到了 RDP（远程桌面协议）。如果有人能提供更多与此相关的指针，那将很有用。

【问题讨论】：

标签： java azure rdp oozie azure-hdinsight

【解决方案1】：

要在 HDinsight 远程桌面上执行 java 程序，请试试这个。

在 lib 文件夹中添加您的 jar 并添加您的属性、xml 文件，然后将其移动到您的 blob 存储中。

例子：

WorkfLow.xml

<workflow-app name="WorkflowJavaMainAction" xmlns="uri:oozie:workflow:0.2">

<start to="javaMainAction"/>

<action name="javaMainAction">

<java>

<job-tracker>jobtrackerhost:9010</job-tracker>

<name-node>wasb://xxx@yyy.blob.core.windows.net</name-node>


<configuration>

<property>

<name>mapred.job.queue.name</name>

<value>default</value>

</property>

</configuration>

<main-class>packagename.classname</main-class>

</java>

<ok to="end"/>

<error to="killJobAction"/>

</action>

<kill name="killJobAction">

<message>"Killed job due to error: ${wf:errorMessage(wf:lastErrorNode())}"</message>

</kill>

<end name="end" />

</workflow-app>

Coordiantor.xml：

<coordinator-app end="${endTime}" frequency="${frequency}" name="sample_update" start="${startTime}" timezone="${timezone}" xmlns="uri:oozie:coordinator:0.2">

<controls>

        <timeout>5</timeout>

        <concurrency>1</concurrency>

</controls>

<action>

<workflow>

<app-path>wasb://xxx@yyy.blob.core.windows.net/user/hdp/ooziejava/workflow.xml</app-path>

</workflow>

</action>

</coordinator-app>

工作属性

oozie.use.system.libpath=true

oozie.coord.application.path=wasb://xxx@yyy.blob.core.windows.net/user/hdp/
ooziejava/coordinator.xml

startTime=2014-11-16T07:30Z

endTime=2014-11-23T04:50Z

frequency=15

timezone=GMT+0530

【讨论】：

【解决方案2】：

这些文章为您提供了有关在 HDInsight 中使用 Oozie 和 Oozie 协调器的一些基本想法：

http://azure.microsoft.com/en-us/documentation/articles/hdinsight-use-oozie/ http://azure.microsoft.com/en-us/documentation/articles/hdinsight-use-oozie-coordinator-time/

本文涵盖Java MapReduce程序开发和部署：

http://azure.microsoft.com/en-us/documentation/articles/hdinsight-develop-deploy-java-mapreduce/

【讨论】：