NumPy：可让我访问数组的“vectorize”的替代方案

Question

我有这个代码：

output_array = np.vectorize(f, otypes='d')(input_array)

我想用这段代码替换它，它应该给出相同的输出：

output_array = np.ndarray(input_array.shape, dtype='d')
for i, item in enumerate(input_array):
    output_array[i] = f(item)

我想要第二个版本的原因是我可以在计算时在单独的线程中开始迭代 output_array。 （是的，我知道 GIL，这部分已经处理好了。）

不幸的是，for 循环非常慢，即使我没有在单独的线程上处理数据。我在我的目标平台 CPython 和 PyPy3 上对它进行了基准测试。在 CPython 上它比 vectorize 慢 3 倍，在 PyPy3 上它比 vectorize 慢 67 倍！

尽管 Numpy 文档说“提供vectorize 函数主要是为了方便，而不是为了性能。实现本质上是一个 for 循环。”

知道为什么我的实现很慢，以及如何快速实现仍然允许我在完成之前使用output_array？

Answer 1

塞巴斯蒂安·伯格给了我一个解决方案。当迭代输入数组中的项目时，使用item.item() 而不仅仅是item。这会将numpy.float64 对象转换为普通的 Python 浮点数，让一切变得更快并解决我的特殊问题 :)

Answer 2

numpy 中的向量化将通过 for 循环提供数值计算的性能提升，因为它减少了一些 Python 解释器在动态确定数据的某些特征时的开销（比如它的类型和位置）在运行时。

ndarray 对象执行了许多优化计算速度的强大功能，例如确保其包含的数据在内存中是同质且连续的。

对于 n 维数据，默认情况下，numpy 将值存储在C ordering (row major) 中，这样一行的连续元素彼此相邻存储。

它也是一个数据块的跨步视图，这意味着当你初始化它时，你也准确地说明了其中每个项目占用了多少字节的内存——换句话说，您需要迈出多大的步伐才能进入下一个阶段。

当您在 ndarray 对象上使用矢量化函数时，它的行为更像 C 代码而不是 Python。也就是说，它直接对内存中的值进行操作并修改它们，并利用所有存储和类型优化。

我怀疑，当您没有对函数 f 进行矢量化处理时，会增加 Python 解释器的开销。当它成功矢量化时，该函数的大部分将在 C 中执行，并避免 Python 造成的大部分减速。我想知道 enumerate 是否未能像 numpy 的 nditer 对象那样利用底层数据结构，但我用 enumerate 和 @987654331 对 nditer、numpy ufunc 和显式 for 循环进行了基准测试@ 实际上是最快的迭代器，所以我猜你的自定义函数可能是时间的罪魁祸首。这是有道理的，特别是考虑到 PyPy 的减速非常更加剧烈。

示例基准：

a = np.ndarray()

>>> %%time
>>> for x in np.nditer(a, flags=['external_loop']):
>>> ....    x*x
CPU times: user 201 ms, sys: 219 ms, total: 420 ms
Wall time: 420 ms

>>> %%time
>>> np.square(a)
CPU times: user 201 ms, sys: 180 ms, total: 381 ms
Wall time: 380 ms

>>> %%time
>>> for i, x in enumerate(a):
>>> ....    x*x

CPU times: user 78.5 ms, sys: 1.79 ms, total: 80.3 ms
Wall time: 79.4 ms

• NumPy Reference: Iterating Over Arrays
• Vectorized functions