Pandas .min() 方法似乎不是最快的

Question

我正在尝试获取我的 Pandas df 列的mins、maxs、means 等（所有某种数值），但 Pandas 方法似乎不是最快的。似乎如果我先用.values 打它，这些操作的运行时间就会大大提高。这是期望的行为吗（意思是 Pandas 做了一些愚蠢或有意的事情？也许我用.values 击中它会耗尽额外的内存，或者我正在做出假设和/或以某种方式让它变得更容易，这不是给定的.. .).

意外行为的“证据”：

df = pd.DataFrame(np.random.randint(0,1000,size=(100000000, 4)), columns=list('ABCD'))

start = time.time()
print(df['A'].min())
print(time.time()-start)`

# 0
# 1.35876178741


start = time.time()
df['A'].values.min()
print(time.time()-start)

# 0
# 0.225932121277

start = time.time()
print(np.mean(df['A']))
print(time.time()-start)

# 499.49969672
# 1.58990907669

start = time.time()
print(df['A'].values.mean())
print(time.time()-start)

# 499.49969672
# 0.244406938553

Answer 1

当您只调用一个列时，您正在将其缩减为一个 pandas 系列，它基于一个 numpy 数组，但包含更多内容。 Pandas 对象针对电子表格或数据库类型的操作（如连接、查找等）进行了优化。

当您在列上调用 .values 时，它会使其成为一个 numpy 数组，这是针对 C 中的数学和向量运算优化的 dtype。即使对 ndarray 类型进行了“展开”，数学运算效率也毫不逊色于系列数据类型。 Here is a quick discussion on some of the differences.

附带说明，有一个特定的模块 - timeit 用于这些类型的时间比较

type(df['a'])

pandas.core.series.Series

%timeit df['a'].min()

6.68 ms ± 121 µs per loop

type(df['a'].values)

numpy.ndarray

%timeit df['a'].values.min()

696 µs ± 18 µs per loop