【发布时间】:2021-10-14 17:20:18
【问题描述】:
在文档中,我看到提到了用户定义的函数: https://spark.apache.org/docs/latest/sql-ref-functions-udf-scalar.html
但这里展示的是 Java 和 Scala 示例。
我说的是像下面这样的 Spark SQL 代码。是否可以为此定义和使用 UDF?
%sql
CREATE TABLE bla USING PARQUET AS
SELECT *
FROM jaja.haha AS haha
我很困惑为什么指南说 SQL 参考,然后继续显示非 SQL 代码。
【问题讨论】:
-
Afaik,您根据编码(java、scala、..)定义和注册它们并通过 Spark SQL 调用它们,但您不通过 Spark SQL 定义它们。
标签: apache-spark apache-spark-sql user-defined-functions databricks