在 Spark 中加入和共同组

Question

有迹象表明 Spark 中的连接是使用 / 基于 cogroup 函数/primitive/transform 实现的。所以让我首先关注 cogroup - 它返回一个 RDD 的结果，它基本上由 cogrouped RDD 的所有元素组成。换一种说法——对于每个同组 RDD 中的每个键，至少有一个来自同组 RDD 中的至少一个的元素。

这意味着当更小，而且流式传输，例如JavaPairDstreamRDDs 不断加入更大的批处理 RDD，这将导致为结果（cogrouped）RDD 的多个实例分配 RAM，a.k.a 本质上是大批处理 RDD 等等...... 显然，当 DStream RDD 被丢弃并且它们定期这样做时，RAM 将被返回，但这似乎仍然是 RAM 消耗中不必要的峰值

我有两个问题：

1. 是否有更“精确”控制 cogroup 过程的方法，例如告诉它只包含共组 RDD 元素，其中每个给定键的共组 RDD 的每个元素中至少有一个元素。根据当前的 cogroup API，这是不可能的

1234563仍然是同样严重的 RAM 消耗

Answer 1

没那么糟。这在很大程度上取决于分区的粒度。 Cogroup 将首先在磁盘中按密钥洗牌到不同的执行程序节点。对于每个键，是的，对于两个 RDD，具有该键的所有元素的整个集合都将加载到 RAM 中并提供给您。但并非所有密钥都需要在任何给定时间都在 RAM 中，因此除非您的数据确实存在偏差，否则您不会因此受到太大影响。