Spark - 行值的总和

Question

我有以下数据框：

January | February | March
-----------------------------
  10    |    10    |  10
  20    |    20    |  20
  50    |    50    |  50

我正在尝试向其中添加一列，它是每行值的总和。

January | February | March  | TOTAL
----------------------------------
  10    |    10    |   10   |  30
  20    |    20    |   20   |  60
  50    |    50    |   50   |  150

据我所知，所有内置的聚合函数似乎都是用于计算单列中的值。如何在每行的基础上跨列使用值（使用 Scala）？

我已经做到了

val newDf: DataFrame = df.select(colsToSum.map(col):_*).foreach ...

Answer 1

你非常接近这个：

val newDf: DataFrame = df.select(colsToSum.map(col):_*).foreach ...

试试这个：

val newDf = df.select(colsToSum.map(col).reduce((c1, c2) => c1 + c2) as "sum")

我认为这是最好的答案，因为它与使用硬编码 SQL 查询的答案一样快，并且与使用 UDF 的答案一样方便。这是两全其美的方法——我什至没有添加一整行代码！

Answer 2

或者，使用 Hugo 的方法和示例，您可以创建一个 UDF 接收任意数量的列和 sum 它们全部。

from functools import reduce

def superSum(*cols):
   return reduce(lambda a, b: a + b, cols)

add = udf(superSum)

df.withColumn('total', add(*[df[x] for x in df.columns])).show()


+-------+--------+-----+-----+
|January|February|March|total|
+-------+--------+-----+-----+
|     10|      10|   10|   30|
|     20|      20|   20|   60|
+-------+--------+-----+-----+

Answer 3

这段代码是用 Python 编写的，但很容易翻译：

# First we create a RDD in order to create a dataFrame:
rdd = sc.parallelize([(10, 10,10), (20, 20,20)])
df = rdd.toDF(['January', 'February', 'March'])
df.show()

# Here, we create a new column called 'TOTAL' which has results
# from add operation of columns df.January, df.February and df.March

df.withColumn('TOTAL', df.January + df.February + df.March).show()

输出：

+-------+--------+-----+
|January|February|March|
+-------+--------+-----+
|     10|      10|   10|
|     20|      20|   20|
+-------+--------+-----+

+-------+--------+-----+-----+
|January|February|March|TOTAL|
+-------+--------+-----+-----+
|     10|      10|   10|   30|
|     20|      20|   20|   60|
+-------+--------+-----+-----+

您还可以根据需要创建用户定义函数，这里是 Spark 文档的链接： UserDefinedFunction (udf)

Answer 4

使用动态列选择的 Scala 示例：

import sqlContext.implicits._
val rdd = sc.parallelize(Seq((10, 10, 10), (20, 20, 20)))
val df = rdd.toDF("January", "February", "March")
df.show()

+-------+--------+-----+
|January|February|March|
+-------+--------+-----+
|     10|      10|   10|
|     20|      20|   20|
+-------+--------+-----+

val sumDF = df.withColumn("TOTAL", df.columns.map(c => col(c)).reduce((c1, c2) => c1 + c2))
sumDF.show()

+-------+--------+-----+-----+
|January|February|March|TOTAL|
+-------+--------+-----+-----+
|     10|      10|   10|   30|
|     20|      20|   20|   60|
+-------+--------+-----+-----+

Answer 5

您可以为此使用 expr()。在 scala 中使用

df.withColumn("TOTAL", expr("January+February+March"))