Python：在 2 个列表中查找快速匹配（碰撞）

Question

我在 python 中遇到了效率问题。 几天来，我一直在尝试寻找和测试不同的实现，但无法让它足够快地工作。

任务：我有两个列表 arr 和 arr2，其中包含 1000000 个 b'' 条目（使用密钥“00000000”到“00999999”进行加密和解密） 并且知道必须在这两个中找到匹配项（DES2 在中间相遇）。因此

if arr[x] == arr2[y]:
    return x, y

我认为我的解决方案会奏效，但速度太慢，还不够：

def g(x):
    for k in range(0, 1000000):
        if (arr[x] == arr2[k]):
            return k, x
    return 0

keypair = 0

for k in range(0, 1000000):
    if keypair == 0:
        keypair = g(k)
    else:
        break

问题是，密钥对应该在 40 秒内找到，但是例如对于 1000000 个条目中的 1000 个条目，此示例需要 1 分钟。

现在必须以某种方式提高效率。我尝试了一些其他解决方案，这些解决方案承诺更高的效率，例如数组的 map 和 numpys 解决方案，但在速度上没有得到任何真正的提高。

您知道任何智能解决方案吗？

Answer 1

我不确定您是只对存在感兴趣还是需要列表中的索引。该解决方案与索引案例有关。如果您只需要检查是否存在，只需使用g 作为set 而不是字典，并检查k 是否在g 中，对于k 中的每个k。

如果空间不是问题，请尝试字典：

g = {k:i for i,k in enumerate(arr)}

keypair = None
for i,k in enumerate(arr2):
    if k in g:
        keypair = (i, g[k])
        break;

哈希表在查找操作上摊销 O(1)。

无论如何，用 cython 编写并不难（即使使用本机类型），但如果您不更改算法并仍然使用 O(n^2) 方法，您的目标将失败。

这种方法是 O(n)，但会使用大量内存，并且可能使用高常数。您的问题的维度 (n=1000000) 应该是最好的，但可能对数组值进行排序，然后考虑到它们的排序可以更快，即使是 O(nlog(n)) 方法。如果第一次失败，您可以尝试通过排序数据。