列表理解 vs 过滤 vs 删除

Question

后两种方案比前一种方案好在哪里？

primes = (1, 2, 3, 5, 7)

# Classic solution
items = list(range(10))
for prime in primes:
    items.remove(prime)
items

# List comprehension
items = list(range(10))
[item for item in items if item not in primes]

# Filter
items = list(range(10))
list(filter(lambda item: item not in primes, items))

这三个例子是我在一本书中看到的，它说第一个解决方案需要 O(n*m) 时间 (n=len(items), m=len(primes)) 而后两个需要 O (n*1) time... 对第一个解决方案进行了 50 次比较（实际上稍微好一点 - 40 次比较），而后者只有 10 次。

我不明白这一点。我不明白它怎么会节省时间或内存。

这是书中解释这一点的段落：

要从列表中删除或插入单个项目，Python 需要复制 整个列表，对于较大的列表尤其重。执行时 这只是一次，当然不是那么糟糕。但是当执行一个大 删除的数量，过滤器或列表理解要快得多 解决方案，因为如果结构合理，它只需要复制列表 一次。 ....然后是例子... 对于大型项目列表，后两者要快得多。这是因为 操作要快得多。要使用 n=len(items) 和 m=len(primes) 进行比较， 第一个需要 O(m*n)=5*10=50 操作，而后两个需要 O(n*1)=10*1=10 次操作。

编辑： 书没有错。 primes = set((1, 2, 3, 5, 7)) 是正确的声明，而不是 primes = (1, 2, 3, 5, 7)

Answer 1

如果书中的代码与您发布的完全相同，那么这本书完全错误。

第一个例子有时间复杂度O(n*m)，但其他两个也是。

如果primes 是set（或dict），那么这将是正确的——在哈希图中使用in 运算符进行存在查找具有时间复杂度O(1)，但在list 或tuple 有 O(n)！因此，O(n*m)的总复杂度。

让我们通过一些测量来检查一下：

t = tuple(range(10000))
l = list(t)
s = set(t)
d = {i:1 for i in l}

In [16]: %%timeit
4738 in t
   ....: 
10000 loops, best of 3: 45.5 µs per loop

In [17]: %%timeit
4738 in l
   ....: 
10000 loops, best of 3: 45.4 µs per loop

In [18]: %%timeit
4738 in s
   ....: 
10000000 loops, best of 3: 36.9 ns per loop

In [19]: %%timeit
4738 in d
   ....: 
10000000 loops, best of 3: 38 ns per loop

注意set 中的查找是~37ns（类似于dict），比list/tuple、~45us 快3 个数量级。

Answer 2

主要问题来自items.remove(prime)。这是因为 Python 的列表是可变长度数组，而不是链表。他们使用一个连续的内存块来引用其他对象。如果从块中的任何位置插入/删除元素，则必须将块中的所有元素移动到新的连续内存块（在数组的开头或结尾插入一些优化）。 see the documentation here 您遍历列表len(primes) 次，对于每个删除，您遍历项目len(items) 次。如果该元素存在，则将项目列表复制到一个新的连续块中，不包括匹配的项目。将元素复制到新块存在隐藏成本。

另外两个示例遍历列表，保留所有当前元素。并根据提供的过滤器返回一个新列表。