Spark/Scala - 无法执行用户定义的函数

Question

我有以下有效的代码。

val locList = Source.fromInputStream(getClass.getResourceAsStream("/locations.txt")).getLines().toList

def locCheck(col: String): Boolean = locList.contains(col)
def locUDF = udf[Boolean, String](locCheck)

但是当我添加一个toUpperCase 来实现它时

val locList = Source.fromInputStream(getClass.getResourceAsStream("/locations.txt")).getLines().toList

def locCheck(col: String): Boolean = locList.contains(col.toUpperCase)
def locUDF = udf[Boolean, String](locCheck)

我遇到了由java.lang.NullPointerException引起的Failed to execute user defined function

我使用 udf 作为df.filter(locUDF('location)).count()

我在这里做错了什么，我该如何解决？

Answer 1

函数或udf 没有任何问题。问题在于进入udf 的数据。

在您的情况下，如果列 location 具有 null 值，当您将这些值传递给 udf 时，col 的值是 null。

如果 col 为空，当您调用 col.toUpperCase 时，您会得到一个 NullPointerException。

你可以简单地检查函数中的空值

def locCheck(col: String): Boolean = if (col == null) false else locList.contains(col.toUpperCase)

或者你可以使用 Options 来处理这个

def locCheck(col: String): Boolean =locList.contains(Option(col).map(_.toUpperCase))

希望这会有所帮助！