使用 lambda 函数对 filter() 进行复杂度分析

Question

给定两个列表，list1 和 list2

list3 = filter(lambda x: x in list1,list2)

这将返回两个列表的交集。

我怎样才能找到这个算法的复杂性？我发现x in list1 的时间复杂度是O(n) 其中n 是列表中元素的数量，但是filter 呢？

Answer 1

您的代码对元素执行O(len(list1) * len(list2)) 比较操作。

• 您的 lambda 函数执行O(len(list2)) 次，每个过滤的元素执行一次。 See documentation for filter in Python 3(Python 2)：

  filter(function, iterable)

  从 iterable 中函数返回 true 的那些元素构造一个 iterator。 iterable 可以是序列、支持迭代的容器或迭代器

  （强调我的）

  显然，对于可迭代中的每个（不同）元素，该函数至少被调用 1 次 - 知道何时不需要调用它也意味着解决 the Halting problem in general case，甚至 Python 核心开发人员都还没有解决 ;-) .在 CPython 3 中的实践中，filter builtin 创建了一个迭代器，当 advanced 时，它为迭代顺序中的每个元素（不同或不同）执行一次函数。

• x in list1 在平均情况和最坏情况下对O(len(list1)) 进行比较，如记录所示。

---

要加快速度，请使用set；你也根本不需要 lambda 函数（使用 __contains__ 魔术方法）

list3 = filter(set(list1).__contains__, list2)

这会在O(len(list1)) 时间内构建一次list1 的set，并以O(len(list2)) 的O(len(list1) + len(list2)) 的平均复杂度对其运行过滤器

---

如果list2元素的顺序没关系那么你也可以这样做

set(list1).intersection(list2)

应该比上面的filter 有更低的常数；对于真正快速的代码，您应该对列表进行排序，以便 smaller 变成一个集合（因为交集和集合构建都记录了O(n) 的平均复杂度，但集合构建很可能会有由于调整 set 的大小而导致的较大常量，因此从较小的值构建集合以减少这些常量的权重是有意义的）：

smaller, larger = sorted([list1, list2], key=len)
result = set(smaller).intersection(larger)

---

请注意，Python 2 和 3 彼此不同。 Python 3 中的filter 返回一个生成器，实际运行时间取决于生成的生成器消耗的元素数量，而在 Python 2 中将预先生成一个列表，如果您只需要第一个值，这可能会更昂贵.

Answer 2

复杂度可能是O(nm)，其中n 是list1 的大小，m 是list2 的大小。然而，这种分析虽然看似合理，但取决于交叉的底层 python 实现（可能使用排序，因此复杂度可能是 O(logn+logm) 或 sth）

为了对此进行实验性测试并验证结果，请使用：

1. 生成具有不同项目和大小（包括重复项）的各种测试列表
2. 用测试列表和measure the time taken测试函数
3. 绘制时间与列表大小的结果以验证（实验性）复杂性