在 Apache Spark 中随着时间的推移花费更长的时间的任务

Question

我有一个大型数据集，我正在尝试使用 Apache Spark 运行（大约 5TB）。我注意到，当作业开始时，它检索数据的速度非常快，并且作业的第一阶段（map 转换）完成得非常快。

但是，在处理了大约 500GB 的数据后，map 转换开始变慢，并且一些任务需要几分钟甚至几小时才能完成。

我使用 10 台 122 GB 和 16 个 CPU 的机器，并将所有资源分配给每个工作节点。我想过增加机器的数量，但还有什么我可能会遗漏的吗？

我已尝试使用我的一小部分数据集 (30 GB)，它似乎工作正常。

Answer 1

似乎在某些节点中本地完成阶段的速度比在其他节点中更快。受此观察的驱使，我将尝试以下方法：

1. 缓存您处理的 RDD。当您不再需要它时，不要忘记取消它。 Understanding caching, persisting in Spark。
2. 检查分区是否平衡，这似乎不是 案例（这可以解释为什么一些局部阶段完成了很多 比别人早）。拥有平衡的分区是圣杯 在distributed-computing，不是吗？ :) How to balance my data across the partitions?
3. 降低通信成本，即使用 比您更少的工人 使用，看看会发生什么。当然，这在很大程度上取决于您的 应用。你看，有时沟通成本变得如此之大， 它们占主导地位，因此使用更少的机器，例如，加速 工作。但是，我会这样做，前提是第 1 步和第 2 步不够用。

Answer 2

如果没有更多信息，在计算的某个时刻，您的数据似乎会溢出到磁盘，因为内存中没有更多空间。 这只是一个猜测，您应该检查您的 Spark UI。