Spark数据框：如何在groupBy + sum之后使用

Question

我的问题很简单，但我似乎找不到合适的解决方案。我可以用可怕的代码破解它，我想找到一些优雅的东西。

这是我的代码行：

    val summedDF = dataFrame.groupBy(colsNamesGroupBy.head, colsNamesGroupBy.tail : _*).sum(colsNamesSum:_*)

它对列名数组执行 groupBy，然后对几列求和。

一切正常，但我得到具有以下名称的列：sum(xxxx)。 我想在旅途中重命名这些，也许用地图操作，所以我只保留“xxxx”的名字。

有人知道吗？

编辑：

我正在尝试类似的方法，但我得到“无法使用此签名解析符号 agg”：

    val summedDF = dataFrame.groupBy(colsNamesGroupBy.head, colsNamesGroupBy.tail : _*).agg(colsNamesSum.map(c => sum(c).as(c)))

Answer 1

我会尝试这样的：

import org.apache.spark.sql.functions.{sum, col}

val aggregateExpr = colsNamesSum.map(c => sum(col(c)).as(c))

val summedDF = dataFrame.groupBy(colsNamesGroupBy.head, colsNamesGroupBy.tail : _*).agg(aggregateExpr.head, aggregateExpr.tail: _*)

Answer 2

你需要导入

import org.apache.spark.sql.functions._

所以你可以使用.agg