Pyspark SIZE 函数本身可以工作，但在 UDF 中它没有 [关闭]答案

【问题标题】：Pyspark SIZE function works in itself, but in UDF it doesnt [closed]Pyspark SIZE 函数本身可以工作，但在 UDF 中它没有 [关闭]
【发布时间】：2020-01-02 11:43:09
【问题描述】：

无法理解为什么 SIZE 本身有效，但在 UDF 中无效。输出为 IntegerType，如上图所示。

例如与 max 一起使用。

【问题讨论】：

max() 也是一个 python 函数，size() 不是。对于max()，它可能指的是python函数调用。
@samkart ，但是，为什么它不工作
refer - 你的函数应该是 python 函数，而不是原生 spark 函数。

标签： pyspark pyspark-sql pyspark-dataframes

【解决方案1】：

@samkart 您的函数应该是 python 函数，而不是原生 spark 函数。嗯，好的，这就解释了。

很好奇，spark 文档中哪里提到了这个？

【讨论】：