Spark Dataframe UDF - 不支持 Any 类型的架构答案

【问题标题】：Spark Dataframe UDF - Schema for type Any is not supportedSpark Dataframe UDF - 不支持 Any 类型的架构
【发布时间】：2018-02-26 17:05:35
【问题描述】：

我正在编写 Spark Scala UDF 并面临“java.lang.UnsupportedOperationException：不支持 Any 类型的架构”

import org.apache.spark.sql.expressions.UserDefinedFunction
import org.apache.spark.sql.functions.udf

val aBP = udf((bG: String, pS: String, bP: String, iOne: String, iTwo: String) => {
  if (bG != "I") {"NA"}
  else if (pS == "D")
    {if (iTwo != null) iOne else "NA"}
  else if (pS == "U")
    {if (bP != null) bP else "NA"}
})

这是抛出错误“java.lang.UnsupportedOperationException：不支持任何类型的架构”

【问题讨论】：

您也需要else。如果这些条件都不满足怎么办？

标签： scala apache-spark spark-dataframe user-defined-functions

【解决方案1】：

正如this link 中所讨论的，您的 udf 应该返回：

基元（Int、String、Boolean...）
其他受支持类型的元组
其他支持类型的列表、数组、地图
其他支持类型的案例类

因此，如果您在代码中添加另一个 else，编译将成功。

  val aBP = udf((bG: String, pS: String, bP: String, iOne: String, iTwo: String) => {
    if (bG != "I") {"NA"}
    else if (pS == "D") {
      if (iTwo != null) 
        iOne 
      else "NA"
    } else if (pS == "U") {
      if (bP != null) 
        bP 
      else 
        "NA"
    } else {
      ""
    }
  })

您还可以使用模式匹配重新分发您的代码：

val aBP = udf [String, String, String, String, String, String] {
  case (bG: String, _, _, _, _)                       if bG != "I" => "NA"
  case (_, pS: String, _, iOne: String, iTwo: String) if pS == "D" && iTwo.isEmpty => iOne
  case (_, pS: String, _, _, _)                       if pS == "D" => "NA"
  case (_, pS: String, bP: String, _, _)              if pS == "U" && bP.isEmpty => bP
  case (_, pS: String, _, _, _)                       if pS == "U" => "NA"
  case _ => ""
}

【讨论】：