为什么列表理解在转置矩阵中胜过 zip

Question

最近我正在使用 python 来处理几百万个大小的列表。

这里我有一个列表E，它有1,470,000个元素，每个元素是一个包含2个整数的列表。

E 看起来像：[[1, 3], [2, 4], [4, 7] ... ]

我想分别获取第一列和第二列的最大数量。

我可以通过使用列表推导得到它

m1 = max([e[0] for e in E])
m2 = max([e[1] for e in E])
return (m1, m2)

另一种方法是使用zip：

list(map(max, zip(*E)))

起初我认为第二种方式应该更快，因为列表理解将构建一个大列表（更重要的是，两次）。但事实证明列表理解非常快，使用 zip 的方法慢了大约 10 ~ 20 倍（使用 cProfile）。

我认为 zip 不应该那么慢，（更何况，列表理解怎么会那么快？）谁能告诉我原因？

我正在使用 python 3.2

附：通过使用 Windows 任务管理器，我什至看不到任何内存跟踪表明 python 曾经创建过一个新列表。一定有黑魔法。

Answer 1

我已经使用 Python 2.7.3 和 3.3.0 测试了多种方法，但我无法重现您的结果。

以下时序来自 Python 2.7.3（3.3.0 的结果类似）：

In [31]: E = [(random.randrange(0,1000),random.randrange(0,1000)) for _ in range(1470000)]

In [32]: %timeit max([e[0] for e in E]), max([e[1] for e in E])
1 loops, best of 3: 319 ms per loop

In [33]: %timeit max(e[0] for e in E), max(e[1] for e in E)
1 loops, best of 3: 343 ms per loop

In [36]: %timeit max(E, key=operator.itemgetter(0)), max(E, key=operator.itemgetter(1))
1 loops, best of 3: 314 ms per loop

In [38]: %timeit list(map(max, zip(*E)))
1 loops, best of 3: 307 ms per loop

我测试过的所有方法的性能都差不多。

如果你关心性能，你应该考虑使用 NumPy：

In [39]: import numpy as np

In [40]: EE = np.array(E)

In [46]: %timeit EE.max(axis=0)
100 loops, best of 3: 3.21 ms per loop

如您所见，在这个数据集上，numpy.max() 比我尝试过的任何纯 Python 方法快大约 100 倍。