在无环的十亿节点的无向​​图中从恰好k条边的源节点中找到目标节点的算法/方法

Question

假设我有一个十亿节点的邻接列表，使用哈希表按以下方式排列：

key = 源节点
value = hash_table { node1, node2, node3}

输入值来自
from,to
形式的文本文件 1,2
1,5
1,11
...等等

例如。 键 = '1'
值 = {'2','5','11'}
表示 1 连接到节点 2,5,11

我想知道一种算法或方法，在无环的十亿个节点的无向​​图中从恰好 k 条边的源节点中找到目标节点

例如。从节点 1 我想找到节点 50 直到深度 3 或直到 3 边。

我的假设算法找到 1 - 2 - 60 - 50 是最短路径，但是使用上述邻接表结构的遍历效率如何？ 我不想使用 Hadoop/Map Reduce。

我在 Python 中提出了如下简单的解决方案，但效率不高。唯一的问题是哈希表在 O(1) 中搜索键，因此我可以直接搜索邻居及其十亿邻居以获取密钥。以下算法需要大量时间。

1. 从源节点开始
2. 使用哈希表搜索查找键
3. 使用邻居节点的哈希表深入 1 级，并找到目标节点的值，直到找到节点
4. 如果在 k 深度上找不到节点，则停止

&nbsp1
&nbsp&nbsp|
{2 &nbsp&nbsp&nbsp&nbsp &nbsp 5 &nbsp&nbsp&nbsp&nbsp&nbsp &nbsp&nbsp&nbsp 11}
&nbsp&nbsp | &nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp| &nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp |
{3,6,7} {nodes} {nodes} .... 连接节点
&nbsp |&nbsp | &nbsp| &nbsp&nbsp&nbsp&nbsp&nbsp&nbsp| &nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp&nbsp |
{nodes} {nodes} {nodes} .... 百万个连接节点。

请提出建议。上面实现的类似于 BFS 的算法需要 3 个多小时来搜索所有可能的键值关系。可以用其他搜索方法减少吗？

Answer 1

正如您所暗示的，这在很大程度上取决于您系统的数据访问特性。 trincot 观察到，如果您仅限于单元素访问，那么您将真正陷入困境。但是，如果您可以管理块访问，那么您就有机会进行并行操作。

但是，我认为这超出了您的控制范围：哈希函数拥有邻接特性——事实上，它可能会“悲观”（与“优化”相反）该特性。

我确实看到了一个可能的希望：使用迭代而不是递归，维护要访问的节点列表。当您在列表中放置一个新节点时，获取其哈希值。如果您可以按位置组织节点，您也许可以进行块传输，在一次读取操作中访问多个值。