AWS EMR 5.20 和 Java 版本支持答案

【问题标题】：AWS EMR 5.20 and Java version supportAWS EMR 5.20 和 Java 版本支持
【发布时间】：2019-05-29 06:53:01
【问题描述】：

我想知道 Amazon EMR 5.20 AMI 是否支持 Java 9？

我在这里找不到信息。我有兴趣将 Spark 2.4.0 与 JDK 9 和 Scala 2.12 一起使用。

https://docs.aws.amazon.com/fr_fr/emr/latest/ReleaseGuide/emr-release-5x.html https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html

谢谢。

【问题讨论】：

关于jdk，spark官方只支持jdk8。由于 scala 团队本身似乎针对的是 LTS 版本（github.com/scala/scala-dev/issues/559），我怀疑 jdk9 是否会得到 spark 的正式支持。

标签： java apache-spark amazon-emr

【解决方案1】：

首先，您不能将 Scala 2.12.x 与 Spark 2.4.0 一起使用（顺便说一句，有实验支持，请参阅 cmets）。如documentation 中所述，要使用 Spark 2.4.0，您需要使用兼容的 Scala 版本，即 2.11.x 系列。

其次，从documentation来看，JDK9+兼容Scala 2.11.12但它是incomplete。

最后，AWS EMR 5.20 使用 Apache Spark 2.4.0。您可以在主节点的命令行中检查 JDK 版本。

>java -version
openjdk version "1.8.0_191"
# "b" means "build"
# Version number is 8u191, which also means JDK 8 Update 191
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

或者，您可以直接运行spark-shell 命令，该命令将同时打印 Scala (2.11.12) 和 JDK 版本 (JDK8)。

希望对你有帮助！

注意：另一个doc 还指出Java 8 是AWS EMR 5.0.0 或更高版本的集群实例的默认JVM。

【讨论】：

Scala 2.12 现在支持 Spark 2.4.0 spark.apache.org/releases/spark-release-2-4-0.html
Scala 2.12 支持是 Spark 中最近的一次合并。您提到的 spark 下载页面和文档并不完全是最新的，因为二进制文件已经可用于主要公共 jar 存储库（例如 mvnrepository）和官方 apache 镜像（例如 mirrors.ircam.fr/pub/apache/spark/spark-2.4.0）上的 scala 2.12。也就是说，我想 AWS EMR 团队需要一些时间来构建交换机以使 2.12 在集群上可用......
找到了有关 Spark 和 Java 9 的信息（他们还没有测试过，也没有正式支持）github.com/apache/spark/commit/… 没有真正的限制，似乎他们解决了最大的限制是与 scala 2.12 不兼容
今晚我可以进行测试，但是当您在 emr 中进行 spark 提交时，您将使用 EMR 提供的已安装库，如果使用 2.11 编译，那么您仍然必须使用 2.11，而不是 spark 本身但是通过部署，除非他们有选择，但到目前为止我还没有看到任何选择

【解决方案2】：

amazon-emr 宣布推出新的 beta 版本，其中包括目前最新的apache-spark 版本 (2.4.4) 并使用 scala 2.12。请检查以下内容：

https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-emr-6-beta-2-adds-hive-3-with-llap-support-scala-212-with-spark-244/

【讨论】：