为什么一个动作需要多个工作才能在 spark 中完成 - scala

Question

我正在 spark-scala 中的数据框之上执行枢轴操作。但是对于单个支点，它需要多个工作才能完成（如下图所示）

可能的原因是什么？

这是一个相当笼统的问题，因为我在其他操作中也遇到了同样的问题。

Answer 1

具体来说，pivot 会导致 Spark 启动水下作业以对枢轴值进行旋转。您可以提供它们来避免 afaik，但通常不会这样做。

show 和 reading s3 paths 也会导致 Spark 生成额外的作业，take 以及 schema inference by Spark。

关于 Actions 和 Jobs 的大部分内容都来自 RDD。借助 DF 和 Catalysts，诸如优化之类的事情可以启动以提高性能。

此外，Spark UI 上的显示很难让很多人理解。作业的名称通常保持不变，但它涉及为wide-transformations 完成的工作，涉及shuffling，称为Stages。 groupBy, orderBy, agg 所有人都根据“洗牌边界”做他们的事情。这是它的工作方式。您的代码显示了这些内容。

这个Spark: disk I/O on stage boundaries explanation 可能会提供一些见解以及背景中发生的事情。 grouBy 的输出通过两个阶段输入到 orderBy。