我们应该在数据帧上使用 groupBy 还是 reduceBy [重复]

【问题标题】：should we use groupBy on dataframe or reduceBy [duplicate]我们应该在数据帧上使用 groupBy 还是 reduceBy [重复]
【发布时间】：2018-09-05 09:40:23
【问题描述】：

虽然groupBy apache spark 中的数据框，后来使用聚合与数据框中的另一列。有没有性能问题？ reduceBy 可以成为更好的选择吗？

df.groupBy("primaryKey").agg(max("another column"))

【问题讨论】：

【解决方案1】：

在 groupBy 中，reduce 作业将按顺序执行，但在 reduceByKey 中，内部 spark 并行运行多个 reduce 作业，因为它知道 key 并针对 key 运行 reduce。 ReduceByKey 提供比 groupBy 更好的性能。您可以在两者上运行聚合。

【讨论】：