Spark（大数据集）groupBy，排序，然后映射

Question

使用 Spark rdd 可以通过 groupByKey 进行分组，然后在每个组中排序，然后映射到大型数据集。这样做的天真方式映射到每个组并为每个组创建一个列表并对其进行排序。但是，这种创建列表可能会导致具有许多条目的组出现内存不足的问题。有没有办法让 Spark 进行排序以避免内存不足的问题。

Answer 1

听起来您遇到了数据倾斜错误。当执行器内存不足时，可能会发生这种情况，因为与该键关联的数据过多。该问题的解决方案是调整/使用执行器的数量和分配给每个执行器的 RAM 量......

但我相信这将是您问题的解决方案：

JavaPairRDD<Key, Iterable<Value>> pair = ...;
JavaRDD<Iterable<Value>> values = pair.map(t2 -> t2._2());
JavaRDD<Value> onlyValues = values.flatMap(it -> it);

来源：Convert iterable to RDD

请跟进这个可能的解决方案。我真的很好奇。