在火花 UDF 中获取空指针异常

Question

我的代码如下。我正在使用 spark UDF 将名为“IssueDate”的新列添加到现有数据框中，但出现空指针异常。所以任何关于这个的建议/建议都可以摆脱这个问题。

    class IssueDateDateHandler(var masterDF) extends Serializable {
      val getIssueDate:(String)=> Option[String] = {(Id) =>
        Option(Id) match {
          case Some(Id) => {
            val matchingIdDF = masterDF.where(col("Id") === Id)
            val issueDt = matchingIdDF.select("IssueDate").head().mkString
            Option(issueDt)
          }
          case _ => Some("")
        }
      }

      val issueDate = udf[Option[String], String](getIssueDate)

      def addIssueDate(transformedDFs: MutableList[DataFrame]): MutableList[DataFrame] = {
          for (tmpDF <- transformedDFs) {
               val df = tmpDF.withColumn("IssueDate", issueDate(col("Id")))
          }
      }
    }

Answer 1

TL;DR 检查是否存在来自类定义的 masterDF 为空的情况

在您的用户定义函数中，您有两个输入：

• Id，这是你自定义函数的参数
• masterDF，来自定义用户自定义函数的类

如果这两个输入之一为空会发生什么？

ID 为空

如果Id为空，那么用户定义函数第一行的Option(Id)就是None，所以同一行的模式匹配到case _:，返回Some("")

因此，空的Id 不会导致NullPointerException

masterDF 为空

如果Id 不为空，则模式匹配转到case Some(Id):，后者执行以下行：

val matchingIdDF = masterDF.where(col("Id") === Id)

由于masterDF 为空，我们尝试在空DataFrame 上调用where 方法，结果为NullPointerException

结论

只有当masterDF 为空时，这个用户定义的函数才会抛出NullPointerException