是否可以“均匀地”合并 Spark 分区？

Question

假设我们有一个 PySpark 数据帧，其中数据均匀分布在 2048 个分区中，我们希望合并到 32 个分区以将数据写回 HDFS。使用coalesce 非常适合，因为它不需要昂贵的随机播放。

但是coalesce 的缺点之一是它通常会导致数据在新分区中的分布不均匀。我假设这是因为原始分区 ID 被散列到新的分区 ID 空间，并且冲突的数量是随机的。

但是，原则上应该可以均匀合并，以便将原始数据帧的前 64 个分区发送到新数据帧的第一个分区，接下来的 64 个分区发送到第二个分区，如此结束，导致分区分布均匀。生成的数据帧通常更适合进一步计算。

这是否可能，同时防止洗牌？

我可以使用this question 中的技巧来强制在初始分区和最终分区之间建立我想要的关系，但是 Spark 不知道每个原始分区中的所有内容都将转到特定的新分区。因此它无法优化掉 shuffle，而且它的运行速度比 coalesce 慢得多。

Answer 1

在您的情况下，您可以安全地将 2048 个分区合并为 32 个，并假设 Spark 会将上游分区平均分配给合并后的分区（在您的情况下每个分区为 64 个）。

这里是an extract from the Scaladoc of RDD#coalesce：

这会导致依赖范围狭窄，例如如果您从 1000 个分区增加到 100 个分区，则不会发生 shuffle，而是 100 个新分区中的每一个都将占用当前分区中的 10 个。

考虑一下，您的分区在集群中的物理分布方式也会影响合并发生的方式。以下是CoalescedRDD's ScalaDoc的摘录：

如果父节点中没有位置信息（没有preferredLocations），那么合并非常简单：在数组中以块的形式靠近的块父节点。 如果有位置信息，它会按照以下四个目标进行打包：

(1) 平衡组，使它们大致具有相同数量的父分区

(2) 实现每个分区的局部性，即找到一台大多数父分区更喜欢的机器

(3) 高效，即 n 个父分区的 O(n) 算法（问题可能是 NP-hard）

(4) 平衡首选机器，即尽可能避免选择相同的首选机器