在 sparkSQL 中避免笛卡尔连接答案

【问题标题】：Avoid cartesian join in sparkSQL在 sparkSQL 中避免笛卡尔连接
【发布时间】：2017-01-06 07:08:35
【问题描述】：

Dataframe A（百万条记录）的一列是create_date,modified_date

Dataframe B 500 记录有 start_date 和 end_date

目前的做法：

Select a.*,b.* from a join b on a.create_date between start_date and end_date

上面的查询在 sparkSQL 中执行笛卡尔积连接，它需要很长时间才能完成。我可以通过其他方式实现相同的功能吗？我尝试广播较小的 RDD

编辑：

spark version 1.4.1
No. of executors 2
Memmory/executor 5g
No. of cores 5

【问题讨论】：

【解决方案1】：

你无法避免笛卡尔积，因为 spark sql 不支持 Non-equi links

【讨论】：