SparkSession 中的 udf 和 pyspark.sql.functions 中的 udf 有什么区别

Question

我有两种方法可以在 pyspark 中使用udf：

1.

spark = pyspark.sql.SparkSession.builder.getOrCreate()
print(spark.udf)
output:
<pyspark.sql.udf.UDFRegistration at 0x7f5532f823a0>

from pyspark.sql.functions import udf
print(udf)
output:
<function pyspark.sql.functions.udf(f=None, returnType=StringType)>

我不明白两者之间的预期区别是什么。我怀疑为什么有两个 API 可用。spark.udf 有一个名为 register 的方法可用。我认为注册udf 是必要的。那么，为什么在pyspark.sql.functions 中没有。为什么只需要第一种情况？

你能帮我澄清这些疑惑吗？

Answer 1

spark.udf.register 用于注册要在 Spark SQL 查询中调用的 UDF。而pyspark.sql.functions.udf 用于创建使用DataFrame API 时要调用的UDF。

注册UDF并与SQL一起使用

from pyspark.sql.types import LongType

df = spark.range(1, 5)
df.createOrReplaceTempView("tb")

def plus_one(v):
    return v + 1

spark.udf.register("plus_one_udf", plus_one, LongType())

spark.sql("select id, plus_one_udf(id) as id2 from tb").show()
#+---+---+
#| id|id2|
#+---+---+
#|  1|  2|
#|  2|  3|
#|  3|  4|
#|  4|  5|
#+---+---+

使用 DataFrame API

import pyspark.sql.functions as F

plus_one_udf = F.udf(plus_one, LongType())

df.withColumn("id2", plus_one_udf(F.col("id"))).show()

#+---+---+
#| id|id2|
#+---+---+
#|  1|  2|
#|  2|  3|
#|  3|  4|
#|  4|  5|
#+---+---+