Hive 版本与 Spark 的兼容性答案

【问题标题】：Hive version compatibility with SparkHive 版本与 Spark 的兼容性
【发布时间】：2016-02-20 12:43:27
【问题描述】：

在多次尝试使用我的 Hive (1.2.1) 和我的 Spark（为 Hadoop 2.2.0 构建的 Spark 1.4.1）失败后，我决定尝试再次使用 Hive 构建 Spark。我想知道目前可用于构建 Spark 的最新 Hive 版本是什么。

下载 Spark 1.5 源并尝试时：

mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive -Phive-1.2.1 -Phive-thriftserver  -DskipTests clean package

我明白了：

The requested profile "hive-1.2.1" could not be activated because it does not exist.

任何帮助表示赞赏

【问题讨论】：

【解决方案1】：

检查您的 spark 1.5 pom.xml 它包含 hive 1.2.1 版本，因此我不需要明确指定 hive 版本。只需使用没有 hive 版本的 mvn，它应该可以工作。

【讨论】：

【解决方案2】：

【讨论】：

【解决方案3】：

Spark 网站按版本号维护有关使用 Hive 支持构建的良好文档。

列出的示例显示 2.4，但正如上面指出的另一个答案，您可以省略 Phive-1.2.1 但根据文档，如果您使用 Spark 1.5.0 执行此操作，它将默认使用 Hive 0.13 绑定构建。

mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

从 Spark 版本 1.6.2 开始，它似乎默认为 Hive 1.2.1 绑定。默认并不一定表示支持限制，

【讨论】：