无法在 HDP 2.5.0 中的 Oozie 上运行 Spark 操作（java.lang.IllegalArgumentException：Invalid ContainerId）答案

【问题标题】：Failing to run Spark actions on Oozie in HDP 2.5.0 (java.lang.IllegalArgumentException: Invalid ContainerId)无法在 HDP 2.5.0 中的 Oozie 上运行 Spark 操作（java.lang.IllegalArgumentException：Invalid ContainerId）
【发布时间】：2017-12-07 16:01:45
【问题描述】：

我正在尝试运行一个简单的 spark Java 应用程序。我可以在我们的集群中通过 spark submit 运行应用程序

我的 job.properties 文件如下：

nameNode=hdfs://auper01-01-20-01-0.prod.vroc.com.au:8020
jobTracker=auper01-02-10-01-0.prod.vroc.com.au:8050
master=yarn-cluster
queueName=default
#examplesRoot=examples
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/user/livy
oozie.libpath=${nameNode}/user/oozie/share/lib/lib_20161001110339/spark

在 oozie.libpath 中，我有两个文件，一个是 oozie-sharelib-spark-4.2.0.2.5.0.0-1245.jar，另一个是我的 spark 应用程序 jar

workflow.xml 文件位于我的 (user/livy) 目录中，并且我也将我的应用程序 jar 上传到该目录，以避免获取未找到类的经验以进行 spark 提交，文件如下：

<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkExample'>
    <start to='spark-node' />

    <action name='spark-node'>
        <spark xmlns="uri:oozie:spark-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <master>${master}</master>
            <name>Spark-Oozie</name>
            <class>au.com.vroc.mdm.SimpleApp</class>
            <jar>${nameNode}/tmp/simple-project/mdm-mahdi.jar</jar>
        </spark>
        <ok to="end" />
        <error to="fail" />
    </action>

    <kill name="fail">
        <message>Workflow failed, error
            message[${wf:errorMessage(wf:lastErrorNode())}]
        </message>
    </kill>
    <end name='end' />
</workflow-app>

我可以成功启动 oozie 并获取应用程序 ID，当我转到 oozie 日志时，我的 spark 日志出现以下异常

2017-05-26 16:51:01,880 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster
java.lang.IllegalArgumentException: Invalid ContainerId: container_e20_1489119643653_0943_02_000001
        at org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:182)
        at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1343)
Caused by: java.lang.NumberFormatException: For input string: "e20"
        at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
        at java.lang.Long.parseLong(Long.java:589)
        at java.lang.Long.parseLong(Long.java:631)
        at org.apache.hadoop.yarn.util.ConverterUtils.toApplicationAttemptId(ConverterUtils.java:137)
        at 

org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:177)

    ... 1 more

不知道为什么会出现上述错误，如果有任何帮助，将不胜感激。

【问题讨论】：

标签： hadoop apache-spark oozie

【解决方案1】：

确保您的应用程序 jar 不包含任何依赖项（这可能会导致此问题）。此问题已在HDP 和IBM 报告。

【讨论】：