左连接需要更长的时间来执行

Question

我有一个问题，有 2 个表（临时）A 和 B，A 有 127 行，B 有大约 2874561 行。

尝试

SELECT A.COL1, B.COL2 
FROM A LEFT JOIN B 
WHERE A.DATE BETWEEN B.ALLOW_D AND B.SEL_D

在 mr 上执行和运行需要花费大量时间。

也尝试过 Tez、MAPJOIN、STREAMTABLE ...

set mapreduce.input.fileinputformat.split.maxsize=71582788;
set mapreduce.input.fileinputformat.split.minsize=71582788;

但没有运气。

Answer 1

问题是你的LEFT JOIN实际上是cross，如果它没有ON条件，它复制行B x A，2874561x127 = 365M，产生太多行，然后WHERE只过滤满足条件的行：A.DATE BETWEEN B.ALLOW_D AND B.SEL_D。

尽量减少右表的行数。假设您知道表 A 中的最短日期为 2018-01-01，将其用作表 B 的过滤器（在与 WHERE B.ALLOW_D>='2018-01-01' 连接之前使用子查询）。理想情况下，如果您可以将 BETWEEN 替换为相等连接 ON 条件。加入前的聚合和过滤可能比交叉连接 + 过滤便宜。

尝试增量加载并减少加入前的行数。