如何使用 Spark Dataframe 实现“over (partition by value)”

【问题标题】：How to implement "over (partition by value)" using Spark Dataframe如何使用 Spark Dataframe 实现“over (partition by value)”
【发布时间】：2017-11-30 23:23:08
【问题描述】：

我打算修改一列Spark Dataframe来实现下面Hive QL的类似目的：

SELECT Id, MIN(Id) over (PARTITION BY Age) Rep FROM Employees

我的问题是如何在 UDF 中实现“over (partition by ..)”？

我的电话是这样的：

def _udfuntion = { ... }
val ownfunc = udf(_udfunction)
df.withColumn("Rep", ownfunc($"Id", $"Age"))

【问题讨论】：

标签： spark-dataframe hiveql

【解决方案1】：

您需要使用用户定义的聚合函数 (UDAF) 而不是 UDF。

有一些很好的例子，例如https://docs.databricks.com/spark/latest/spark-sql/udaf-scala.html 和 https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-sql-UserDefinedAggregateFunction.html

【讨论】：