Spark scala数据帧udf返回行答案

【问题标题】：Spark scala data frame udf returning rowsSpark scala数据帧udf返回行
【发布时间】：2018-09-17 17:42:30
【问题描述】：

假设我有一个数据框，其中包含一个列（称为 colA），它是行的序列。我想为 colA 的每条记录附加一个新字段。（而且新的归档是和之前的记录相关联的，所以我要写一个udf。）这个udf应该怎么写？

我尝试编写一个 udf，它将 colA 作为输入，并输出 Seq[Row]，其中每条记录都包含新文件。但问题是 udf 无法返回 Seq[Row]/ 例外是“不支持 org.apache.spark.sql.Row 类型的架构”。我该怎么办？

我写的udf： val convert = udf[Seq[Row], Seq[Row]](blablabla...) 例外是 java.lang.UnsupportedOperationException：不支持 org.apache.spark.sql.Row 类型的架构

【问题讨论】：

【解决方案1】：

从 spark 2.0 开始，您可以创建返回 Row / Seq[Row] 的 UDF，但您必须提供返回类型的架构，例如如果您使用双精度数组：

val schema = ArrayType(DoubleType)

val myUDF = udf((s: Seq[Row]) => {
  s // just pass data without modification
}, schema)

但我真的无法想象这在哪里有用，我宁愿从 UDF 中返回元组或案例类（或其 Seq）。

编辑：如果您的行包含超过 22 个字段（元组/案例类的字段限制），这可能会很有用

【讨论】：