使用 java 8 提交 spark-submit [重复]答案

【问题标题】：spark-submit with java 8 [duplicate]使用 java 8 提交 spark-submit [重复]
【发布时间】：2016-07-05 11:55:10
【问题描述】：

我有一个用 java 8 编写的 spark 项目，我想部署在 ec2 上。我遇到了以下问题：

Unsupported major.minor version 52.0

这可以通过将项目转换为 java 7 来解决。但要这样做，我需要修复很多东西。

有什么方法可以让 spark 使用 java 8 吗？（我在集群中的所有机器上都安装了 java-8）

谢谢！

【问题讨论】：

为 Java 7 编译的类文件应该在 Java 8 上无缝运行（相反的情况并非如此，并且可能导致您描述的错误）。您确定 Java 8 已安装并在任何地方使用？
导出 JAVA_HOME=/usr/lib/jvm/java-1.8.0
并使用 --conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-1.8.0 选项进行 spark-submit。这当然假设已安装 Java8。

【解决方案1】：

这个错误直接意味着，java 7 正在你的 ec2 机器上使用。如果您安装了多个 java，请使用“alternatives --config java”来指定应在您的机器（在 linux 上）上使用哪个版本的 java。

另外，记得设置java环境变量。

【讨论】：

【解决方案2】：

我以前见过这个错误，它总是由使用同一组件的两个不同版本引起的。您需要检查包含的组件。

【讨论】：