使用源代码和获取预构建版本时使用的不同 Spark 版本答案

【问题标题】：Different Spark versions used on using the source code and getting a pre-built version使用源代码和获取预构建版本时使用的不同 Spark 版本
【发布时间】：2019-12-27 19:36:02
【问题描述】：

我已经下载了 Spark 源代码（分支 2.4）并使用 Hadoop 2.7.4 的内置指令构建了 jar。我还下载了 Spark 2.4.4 的预构建版本（为 Hadoop 2.7 预构建）。

当我启动spark-shell 时，我看到了两个不同版本的 Spark，如下图所示：

在第一张图中，2.4分支源码下载后构建的jar包的版本为3.0.0。第二张图片来自 apache spark 网站提供的预构建版本。不仅如此，计划在第一种情况下使用RelationV2，在第二种情况下使用Relation逻辑节点。

谁能解释为什么会有这样的差异？

【问题讨论】：

您的问题不清楚。首先，请指定您正在使用的两个 spark-shell 命令（您在一个命令上没有两个启动屏幕）其次提供指向您下载用于构建的 jar 的链接。下载 2.4 会给你 2.4，而不是 3.0

标签： apache-spark

【解决方案1】：

很确定你搞错了，因为 3.0.0 是下载源代码或预构建版本的默认选择。也许我弄错了，但是，根据我的评论，请仔细检查您构建的版本。

【讨论】：

你是对的。我一直在克隆错误的分支源代码。