如何让 Spark 只读取指定的行？

Question

假设我从一个大表A 中选择给定的行。目标行由小索引表B 或列表C 给出。

的默认行为

A.join(broadcast(B), 'id').collect()

或

A.where(col('id').isin(C)).collect()

将创建一个任务，在过滤出目标行之前读取A 的所有数据。以广播连接为例，在任务 DAG 中，我们看到Scan parquet 过程确定了要读取的列，在这种情况下，这些列都是列。

问题是，由于A的每一行都很大，而且选择的行也很少，理想情况下最好：

1. 只读入A的id列；
2. 决定使用广播连接输出的行；
3. 根据步骤 2 仅读取 选定 行以从 A 输出。

有可能实现吗？

顺便说一句，要输出的行可能分散在 A 中，因此无法使用分区键。

Answer 1

将创建一个读取A的所有数据的任务

你错了。虽然第一种情况不会推送任何过滤器，除了join 键上的IsNotNull 以防内连接或左连接，第二种方法会将In 向下推送到源。

如果isin 列表很大，这可能没有必要更快，但它仍然经过优化。

如果您想从可能的优化中充分受益，您仍应使用分桶 (DISTRIBUTE BY) 或分区 (PARTITIONING BY)。这些在IS IN 场景中很有用，但也可以使用分桶，在第一个场景中，B 太大而无法广播。