数据库连接如何在分布式关系数据库中工作？

Question

根据我自己的研究，我了解单个数据库（非分布式）上的 SQL 连接算法背后的基本思想 - 例如。哈希连接、合并连接、循环连接。分布式连接算法是否类似于非分布式数据库上的连接算法？

例如，如果我有一个带有属性的用户表： - 用户身份 - 年龄

我有一个带有属性的评论表： - 用户身份 - Comment_id - 评论

假设分布式数据库使用 User_id 对 Users 表进行分片，并使用 Comment_id 对 Comments 表进行分片。

那么当您调用 SQL 查询时实际发生了什么：

SELECT * FROM Users INNER JOIN Comments ON Users.User_id = Comments.User_id

？ User表和Comment表是否整理到一台机器上，然后执行JOIN？或者是否有某种方式可以让您进行 JOIN，即使它是分布式的？

Answer 1

这是一个高级别的答案。

在分布式环境中，JOINs 有几种方法。

1. 广播连接。一个表被复制并发送到所有处理节点，每个处理节点都有一个更大的表的一部分。规范用例是一个大表和一个小参考表。

2. 两个表具有相同分区键的哈希连接。在这种情况下，可以在本地完成连接，因为所有相关数据都已位于同一位置。

3. 哈希连接基于一张表的分区键。第二个表被散列并且数据被发送到适当的节点。然后返回到 (2)。

4. 一个完整的散列连接，其中两个表的数据被散列并发送到并置的节点。

请注意，此处的“哈希”一词是通用的。如果分区是基于数据范围的，那么这就是哈希函数的一个例子。

一旦将数据发送到特定节点，就会使用其他一些JOIN 算法——它可以是基于散列的、基于排序的或基于索引的（如果分布式数据也支持索引；很多都支持）不是）。

此外，可能会对算法进行调整以处理“大于内存”的结果和JOIN 键中的数据倾斜。

更详细的答案可能会写满一本书的多个章节。