org.apache.spark.sql.AnalysisException：未定义函数：'coalesce'答案

【问题标题】：org.apache.spark.sql.AnalysisException: Undefined function: 'coalesce'org.apache.spark.sql.AnalysisException：未定义函数：'coalesce'
【发布时间】：2020-08-13 04:16:31
【问题描述】：

spark (2.4.5) 在尝试执行类似于如下所示的选择查询时抛出以下错误。

org.apache.spark.sql.AnalysisException: Undefined function: 'coalesce'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 1 pos 12

SELECT cast(coalesce(column1,'') as string) as id,cast(coalesce(column2,'2020-01-01') as date) as date1
from 4dea68ed921940e58f027e7146d495a4

表 4dea68ed921940e58f027e7146d495a4 是在 spark 中从数据框创建的临时视图。此错误仅在某些进程后间歇性发生。任何帮助将不胜感激。

【问题讨论】：

你能分享来自4dea68ed921940e58f027e7146d495a4 - column1,column2的样本输入吗？
只是第 1 列中的常规字符串数据，例如名称或 ID，以及第 2 列中的日期值，例如 2020-07-31。两列都可以有空值

标签： apache-spark apache-spark-sql

【解决方案1】：

spark 作业是通过 livy 提交的。 Job 包含两个可选参数，并且只提供了一个。提供所有参数解决了这个问题。不知道为什么不提供可选参数会导致这种奇怪的行为但解决了问题

【讨论】：