是否可以使用 spark 2.4 使用 Hadoop 3.x 和 Hive 3.x？答案

【问题标题】：Is it possible to use Hadoop 3.x and Hive 3.x using spark 2.4?是否可以使用 spark 2.4 使用 Hadoop 3.x 和 Hive 3.x？
【发布时间】：2020-07-06 10:32:00
【问题描述】：

我们使用 spark 2.4.0 连接到 Hadoop 2.7 集群并从 Hive Metastore 2.3 版本进行查询。但是集群管理团队决定升级到 Hadoop 3.x 和 Hive 3.x。我们还不能迁移到与 Hadoop 3 和 Hive 3 兼容的 spark 3，因为我们无法测试是否有任何问题。

有什么方法可以坚持使用 spark 2.4.x 版本，并且仍然能够使用 Hadoop 3 和 Hive 3？

我知道反向移植是一种选择，如果您能指出我的方向，那就太好了。

【问题讨论】：

标签： apache-spark hadoop hive backwards-compatibility hadoop3

【解决方案1】：

您可以使用Hadoop 3.1 profile 编译 Spark 2.4，而不是依赖默认版本。在构建 Spark 时，您需要使用 hadoop-3.1 配置文件作为 described in documentation，例如：

./build/mvn -Pyarn -Phadoop-3.1 -DskipTests clean package

【讨论】：