Spark 应用程序无法使用 spark-core jar 2.0.1 构建

Question

我是新来的火花。我正在尝试使用我正在使用的 gradle 构建火花，如下所示：

编译组：'org.apache.spark'，名称：'spark-core_2.10'，版本：'2.0.1' 编译组：'org.apache.spark'，名称：'spark-sql_2.10'，版本：'2.0.1'

我收到以下错误： 错误：对象 UserDefinedFunction 不是包 org.apache.spark.sql 的成员

[ant:scalac] import org.apache.spark.sql.UserDefinedFunction._
[ant:scalac]                             ^
[ant:scalac] error: bad symbolic reference. A signature in HiveContext.class refers to type Logging
[ant:scalac] in package org.apache.spark which is not available.

当我在我的 gradle 构建中使用 jar 1.6 时，相同的代码正在完美构建：

  compile group: 'org.apache.spark', name: 'spark-core_2.10', version: '1.6.0'
  compile group: 'org.apache.spark', name: 'spark-sql_2.10', version: '1.6.0'

我解压jar 2.0.1，发现函数UserDefinedFunction不可用，而1.6可用。

请指教。如何解决这个问题并将我的代码库升级到 jar 2.0.1？

谢谢。

Answer 1

这是预期的。在 Spark 2.0.0 中使用 org.apache.spark.sql.expressions.UserDefinedFunction:

• SPARK-13296
• https://github.com/apache/spark/commit/354d4c24be892271bd9a9eab6ceedfbc5d671c9c