Spark：使用Scala的reduceByKey中的平均值而不是总和答案

【问题标题】：Spark : Average of values instead of sum in reduceByKey using ScalaSpark：使用Scala的reduceByKey中的平均值而不是总和
【发布时间】：2018-02-15 15:22:10
【问题描述】：

当调用 reduceByKey 时，它将所有具有相同键的值相加。有什么方法可以计算每个键的平均值吗？

// I calculate the sum like this and don't know how to calculate the avg
reduceByKey((x,y)=>(x+y)).collect


Array(((Type1,1),4.0), ((Type1,1),9.2), ((Type1,2),8), ((Type1,2),4.5), ((Type1,3),3.5), 
((Type1,3),5.0), ((Type2,1),4.6), ((Type2,1),4), ((Type2,1),10), ((Type2,1),4.3))

【问题讨论】：

我猜你的意思是 reduceByKey （如标题）。请显示您尝试过的代码示例。 ReduceByKey 没有默认聚合，所以如果它求和，你问它。
Spark RDD: How to calculate statistics most efficiently?的可能重复
您需要分别求和和计数，参见例如stackoverflow.com/questions/29930110/…
在 scala 中用于 aggregateByKey 的文档：spark.apache.org/docs/latest/api/scala/…
不久前我问过并回答了一个类似的问题，它（以下网址）可能会对您和其他人有所帮助：stackoverflow.com/questions/29930110/…

标签： scala apache-spark

【解决方案1】：

一种方法是使用比aggregateByKey 更容易的mapValues 和reduceByKey。

.mapValues(value => (value, 1)) // map entry with a count of 1
.reduceByKey {
  case ((sumL, countL), (sumR, countR)) => 
    (sumL + sumR, countL + countR)
}
.mapValues { 
  case (sum , count) => sum / count 
}
.collect

https://www.safaribooksonline.com/library/view/learning-spark/9781449359034/ch04.html

【讨论】：

【解决方案2】：

有很多方法......但一个简单的方法是使用一个类来跟踪您的总数和计数并在最后计算平均值。像这样的东西会起作用。

class AvgCollector(val tot: Double, val cnt: Int = 1) {
  def combine(that: AvgCollector) = new AvgCollector(tot + that.tot, cnt + that.cnt)
  def avg = tot / cnt 
}

val rdd2 = {
  rdd
  .map{ case (k,v) => (k, new AvgCollector(v)) }
  .reduceByKey(_ combine _)
  .map{ case (k,v) => (k, v.avg) }
}

...或者您可以使用 aggregateByKey 调整类

class AvgCollector(val tot: Double, val cnt: Int = 1) {
  def ++(v: Double) = new AvgCollector(tot + v, cnt + 1)
  def combine(that: AvgCollector) = new AvgCollector(tot + that.tot, cnt + that.cnt)
  def avg = if (cnt > 0) tot / cnt else 0.0
}

rdd2 = {
  rdd
  .aggregateByKey( new AvgCollector(0.0,0) )(_ ++ _, _ combine _ )
  .map{ case (k,v) => (k, v.avg) }
}

【讨论】：