【问题标题】：Not able to run Spark job on YARN cluster无法在 YARN 集群上运行 Spark 作业
【发布时间】：2017-04-07 18:59:04
【问题描述】：

我有一个简单的 hadoop 集群，Spark 在上面运行（即 Spark 使用 YARN 作为集群管理器）。

我使用的是 Hadoop 2.7；斯卡拉 2.112.1;火花 2.1.0 和 jdk 8。

现在，当我提交作业时，它会失败，并显示以下消息：

17/04/06 23:57:55 INFO yarn.Client: Application report for application_1491534363989_0004 (state: ACCEPTED)
17/04/06 23:57:56 INFO yarn.Client: Application report for application_1491534363989_0004 (state: FAILED)
17/04/06 23:57:56 INFO yarn.Client:
     client token: N/A
     diagnostics: Application application_1491534363989_0004 failed 2 times due to AM Container for appattempt_1491534363989_0004_000002 exited with  exitCode: 15
For more detailed output, check application tracking page:http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004Then, click on links to logs of each attempt.
Diagnostics: Exception from container-launch.
Container id: container_1491534363989_0004_02_000001
Exit code: 15

JDK 8 有什么问题吗？

更新

当我使用 JDK 7 运行相同的程序时，它运行良好。所以我的问题是：Spark、scala、hadoop 是否对 JDK 8 有任何问题？

【问题讨论】：

不，我们在 JDK 8 上运行早期版本的 Hadoop 和 Spark。它运行良好。
可能是您在使用 Scala 2.11 时遇到了一些问题，因为它对 Java 8 的支持是实验性的 - scala-lang.org/news/2.11.1#required-java-version
我认为问题出在 Hadoop 上，从他们的 Java 支持页面来看，2.7 及更高版本仅支持 JDK 7。
根据 Hortonworks 的说法，他们用不同的 Java 版本彻底测试了 Hadoop，并且没有遇到任何问题 - community.hortonworks.com/questions/27327/… 看看你得到的具体错误会很有用。
我使用的是普通的 Hadoop，而不是任何发行版。很有可能，Hortonworks 和 cloudera 领先于普通 Hadoop，但我正在分享我在我的环境中遇到的情况；使用普通分布。

标签： scala hadoop apache-spark java-8

【解决方案1】：

我一直在使用 java 8 在纱线集群上使用 spark，一切运行顺利。据我所知，较新版本的 spark 和 scala 需要 java 8 或更高版本。以下是您需要考虑的几件事。

检查 hadoop-env.sh 中的 JAVA_HOME 路径
当您启动 yarn 集群时，请确保所有需要的节点都使用 jps 启动。
检查 hadoop 日志中的日志。
更多详情请转至http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004

【讨论】：

非常感谢您的回复；所有守护进程都在运行。我也测试了hadoop2.8，但遇到了同样的问题。相同的程序在 Jdk7 上运行，但不在 jdk8 上。我们需要对 Java 设置进行任何更改吗？
你检查失败消息中的应用程序日志了吗？