快速 Spark 替代 WHERE 列 IN other_column

Question

我正在寻找一种快速的 PySpark 替代品

SELECT foo FROM bar
WHERE foo IN (SELECT baz FROM bar)

预先收集到 Python 列表中绝对不是一个选项，因为处理的数据帧非常大，并且相对于我提出的其他选项，收集占用了大量时间。所以我想不出一种使用原生 PySparkian where(col(bar).isin(baz)) 的方法，因为在这种情况下 baz 必须是一个列表。

我想出的一个选项是right JOIN 作为 IN 的替代品，left_semi JOIN 作为 NOT IN 的替代品，请考虑以下示例：

bar_where_foo_is_in_baz = bar.join(bar.select('baz').alias('baz_'), col('foo') == col('baz_'), 'right').drop('baz_')

然而，这非常冗长，一段时间后阅读时很难解释，并且当在WHERE 中处理大量条件时会导致相当多的头疼，所以我想避免这种情况。

还有其他选择吗？

编辑（请阅读）：

由于我似乎误导了很多答案，我的具体要求是将“WHERE - IN”子句翻译成没有 .collect() 的 PySpark，或者一般来说，映射到 Pythonic 列表（作为内部函数 @987654332 @ 需要我）。

Answer 1

来自 Jacek Laskowski 的 GitBook

Spark SQL 使用 broadcast join（又名广播哈希连接）而不是 当一侧数据的大小为时，哈希连接优化连接查询 下面spark.sql.autoBroadcastJoinThreshold

广播连接对于大表之间的连接非常有效 （事实）相对较小的表格（尺寸） 用于执行星型模式连接。它可以避免发送所有数据 网络上的大表。

还有also

Spark SQL 2.2 支持使用广播标准的 BROADCAST 提示 函数或 SQL cmets：

• SELECT /*+ MAPJOIN(b) */ …​
• SELECT /*+ BROADCASTJOIN(b) */ …​
• SELECT /*+ BROADCAST(b) */ …​

其实Spark documentation的提示更全面：

BROADCAST 提示引导 Spark 在何时广播每个指定的表 将它们与另一个表或视图连接起来。当 Spark 决定加入时 方法，广播散列连接（即 BHJ）是首选，即使 统计信息高于配置 spark.sql.autoBroadcastJoinThreshold.

当连接的双方都是 指定时，Spark 会广播具有较低统计信息的那个。笔记 Spark 不保证总是选择 BHJ，因为并非所有情况 （例如完全外连接）支持 BHJ。

---

最后，如果您认真对待开发高效的 Spark 作业，您应该花一些时间来了解这头野兽是如何工作的。

例如presentation about joins from Databricks 应该会有所帮助