如何使用Scala计算Spark中数据框中列的开始索引和结束索引之间的行的平均值？

Question

我有一个带有浮点类型值的列的 spark 数据框。我试图找到第 11 行到第 20 行之间的平均值。请注意，我没有尝试任何类型的移动平均线。我尝试像这样使用分区窗口 -

var avgClose= avg(priceDF("Close")).over(partitionWindow.rowsBetween(11,20))

它返回一个“org.apache.spark.sql.Column”结果。我不知道如何查看avgClose。

我是 Spark 和 Scala 的新手。感谢您在获得此信息方面的帮助。

Answer 1

为您的表分配一个递增的 id。然后你可以在 id 之间做一个平均。

val df =  Seq(20,19,18,17,16,15,14,13,12,11,10,9,8,7,6,5,4,3,2,1).toDF("val1")
val dfWithId = df.withColumn("id", monotonically_increasing_id())
val avgClose= dfWithId.filter($"id" >= 11 && $"id" <= 20).agg(avg("val1"))
avgClose.show()

结果：

+---------+
|avg(val1)|
+---------+
|      5.0|
+---------+