从集合和字典中，哪个更有效地找到列表中的第一个重复项？

Question

我必须找到列表中的第一个重复元素。假设我有一个列表[1, 2, 3, 4, 3, 1, 2, 9]。这里的第一个副本是3，因为当我们从从左到右遍历它时，2nd 3在2nd 1之前排在第一位strong> 和 2。

为了解决这个问题，我有两个解决方案。

使用集合

def firstDuplicateValue(array):
    duplicate = set()
    for value in array:
        if value in duplicate:
            return value
        else:
            duplicate.add(value)
    return -1

使用字典

def firstDuplicateValue(array):
    duplicate = {}
    for value in array:
        if value in duplicate:
            return value
        else:
            duplicate[value] = True
    return -1

在 python 中哪个更省时，为什么？还有其他最好的解决方案吗？

Answer 1

在可以在 cmets 中找到的讨论中，有人正确地指出，上述方法的时间和内存效率会随着要查找的数组的大小而变化。

Set 和 Dictionary 都使用一组唯一键，因此具有相似的逻辑，查找这些键应该具有 O(n) 复杂度，并且它们不应该采用显着不同的 timex。下面的代码使用整数列表 0, 1, 2, ... 和末尾的另一个 0 来测试这些。另外，请注意，在下面的 cmets 中，有些人建议了其他（也许更好）方法来为过程计时。

import time
import sys

def firstDuplicateValueSet(array):
    duplicate = set()
    for value in array:
        if value in duplicate:
            print(sys.getsizeof(duplicate)/1024)
            return value
        else:
            duplicate.add(value)
    return -1

def firstDuplicateValueDict(array):
    duplicate = {}
    for value in array:
        if value in duplicate:
            print(sys.getsizeof(duplicate)/1024)
            return value
        else:
            duplicate[value] = True
    return -1

size = 50000000
arr = [i for i in range(size)]
arr.append(0)

tic = time.time()
firstDuplicateValueSet(arr)
toc = time.time()
print(toc-tic)
tic = time.time()
firstDuplicateValueDict(arr)
toc = time.time()
print(toc-tic)
tic = time.time()

firstDuplicateValueSet()的内存和时间：

>>> 2097152.21875
>>> 8.740191221237183

firstDuplicateValueDict()的内存和时间：

>>> 2621440.1015625
>>> 9.246715545654297

将size 设置为81000000 会产生相反的结果。字典时间更短，Set 内存更多！

>>> 4194304.21875 #set memory
>>> 15.37313985824585 #set time
>>> 2621440.1015625 #dictionary memory
>>> 11.566540002822876 #dictionary time