对非常大的 INNER JOIN SQL 查询进行分区

Question

sql 查询是相当标准的内连接类型。 例如，比较 n 个表以查看所有 n 个表中存在哪些 customerId，这将是一个基本的 WHERE ... AND 类型查询。

问题是表的大小 > 1000 万条记录。数据库是非规范化的。规范化不是一种选择。 查询要么需要很长时间才能完成，要么永远不会完成。

我不确定它是否相关，但我们正在将 spring xd 作业模块用于其他类型的查询。

我不确定如何对此类作业进行分区，以便它可以并行运行，从而减少时间，因此如果步骤/子部分失败，它可以从中断的地方继续。

其他有类似问题的帖子建议使用除数据库引擎之外的替代方法，例如在代码中实现 LOOP JOIN 或使用 MapReduce 或 Hadoop，我不确定它们是否值得研究这个用例。

p>

这种操作的标准方法是什么，我希望它相当普遍。我可能使用了错误的搜索词来研究方法，因为我没有遇到任何标准解决方案或明确的方向。

相当神秘的原始要求是：

比较三个非常大的表中的party_id 列，以识别三个表中可用的客户 即如果它是三个之间的 AND 操作。 SAMPLE1.PARTY_ID 和 SAMPLE2.PARTY_ID 和 SAMPLE3.PARTY_ID

如果运算为 OR，则选择三个表中的所有可用客户。 SAMPLE1.PARTY_ID 或 SAMPLE2.PARTY_ID 或 SAMPLE3.PARTY_ID

在表格之间使用AND / OR，然后根据需要执行比较。 SAMPLE1.PARTY_ID 和 SAMPLE2.PARTY_ID 或 SAMPLE3.PARTY_ID

我用这个定义设置了大约 4 个测试表

CREATE TABLE `TABLE1` (
  `CREATED` datetime DEFAULT NULL,
  `PARTY_ID` varchar(45) NOT NULL,
  `GROUP_ID` varchar(45) NOT NULL,
  `SEQUENCE_ID` int(11) NOT NULL AUTO_INCREMENT,
  PRIMARY KEY (`SEQUENCE_ID`)
) ENGINE=InnoDB AUTO_INCREMENT=978536 DEFAULT CHARSET=latin1;

然后将 1,000,000 条记录添加到应该导致连接的范围内的每个随机数。

我使用了以下测试查询

SELECT `TABLE1`.`PARTY_ID` AS `pi1`, `TABLE2`.`PARTY_ID` AS `pi2`, `TABLE3`.`PARTY_ID` AS `pi3`, `TABLE4`.`PARTY_ID` AS `pi4` FROM `devt1`.`TABLE2` AS `TABLE2`, `devt1`.`TABLE1` AS `TABLE1`, `devt1`.`TABLE3` AS `TABLE3`, `devt1`.`TABLE4` AS `TABLE4` WHERE `TABLE2`.`PARTY_ID` = `TABLE1`.`PARTY_ID` AND `TABLE3`.`PARTY_ID` = `TABLE2`.`PARTY_ID` AND `TABLE4`.`PARTY_ID` = `TABLE3`.`PARTY_ID`

它应该在 10 分钟内完成，并且桌子尺寸要大 10 倍。 我的测试查询还没有完成，它已经运行了 15 分钟

Answer 1

以下可能比现有的基于连接的查询执行得更好：

select party_id from
(select distinct party_id from SAMPLE1 union all
 select distinct party_id from SAMPLE2 union all
 select distinct party_id from SAMPLE3) as ilv
group by party_id 
having count(*) = 3

修改count(*) 条件以匹配被查询的表数。

如果您想返回 any 表中存在的 party_id 值而不是全部，则省略最后的 having 子句。