为什么 Pandas 应用可以比矢量化内置函数更快 [重复]

Question

我正在练习vectorization with Pandas，我发现了一个违反直觉的案例，即使用一系列内置矢量化方法比应用一个朴素的 Python 函数（提取所有数字的第一个数字）慢一个系列）：

import sys
import numpy as np
import pandas as pd

s = pd.Series(np.arange(100_000))

def first_digit(x):
    return int(str(x)[0])

s.astype(np.str).str[0].astype(np.int) # 218ms "built-in"
s.apply(first_digit)                   # 104ms "apply"
s.map(first_digit)                     # 104ms "map"
np.vectorize(first_digit)(s)           #  78ms "vectorized"

所有 4 个实现都产生相同的 Pandas 系列，我完全理解 vectorized 函数调用可能比每个元素的 apply/map 更快。

但是，我很困惑为什么使用buil-in 方法会更慢...虽然我也对实际答案感兴趣，但我更感兴趣的是我必须学习的最小工具集是什么能够评估我对性能的假设。

我的假设是，方法调用链正在创建 2 个额外的中间 Pandas Series，并且这些 Series 的值被贪婪地评估，导致 CPU 缓存未命中（必须从 RAM 加载中间 Series）。

按照该假设的步骤，我不知道如何证实或证伪：

1. 中间的 Series / numpy 数组是贪婪地评估还是懒惰地评估？
2. 会导致 CPU 缓存未命中吗？
3. 我还需要考虑哪些其他解释？

我的测量屏幕截图：

Answer 1

简而言之，你的问题是是否

s.astype(np.str).str[0].astype(np.int)

将您的操作融合在一起，然后迭代系列，或为每个操作创建一个临时系列，以及如何验证这一点？

我的假设（我猜你的假设）是后者。你有正确的解释，但如何测试？

我的建议是：

s1=s.astype(np.str)
s2=s1.str[0]
s3=s2.astype(np.int)

查看每个操作需要多长时间以及 3 个操作一起需要多长时间。很可能每个操作将花费大约相同的时间（每个操作的复杂性大致相同），这强烈表明我们的假设是正确的。如果前两个操作不需要时间，但几乎所有时间都是最后一个，那么我们的假设可能是错误的。