从 pandas.DataFrame 绘制引导样本

Question

我想尽可能高效地绘制pandas.DataFrame 的引导样本。使用内置 iloc 和整数列表似乎很慢：

import pandas
import numpy as np
# Generate some data
n = 5000
values = np.random.uniform(size=(n, 5))
# Construct a pandas.DataFrame
columns = ['a', 'b', 'c', 'd', 'e']
df = pandas.DataFrame(values, columns=columns)
# Bootstrap
%timeit df.iloc[np.random.randint(n, size=n)]
# Out: 1000 loops, best of 3: 1.46 ms per loop

索引numpy 数组当然要快得多：

%timeit values[np.random.randint(n, size=n)]
# Out: 10000 loops, best of 3: 159 µs per loop

但即使是提取值、对numpy 数组进行采样并构造一个新的pandas.DataFrame 也更快：

%timeit pandas.DataFrame(df.values[np.random.randint(n, size=n)], columns=columns)
# Out: 1000 loops, best of 3: 302 µs per loop

@JohnE 建议 sample 不幸的是更慢：

%timeit df.sample(n, replace=True)
# Out: 100 loops, best of 3: 5.14 ms per loop

@firelynx 建议merge：

%timeit df.merge(pandas.DataFrame(index=np.random.randint(n, size=n)), left_index=True, right_index=True, how='right')
# Out: 1000 loops, best of 3: 1.23 ms per loop

有谁知道为什么iloc 这么慢和/或是否有比提取值、采样然后构造一个新的pandas.DataFrame 更好的选择？

Answer 1

索引速度

经过测试，布尔索引对我来说稍微快一些：

布尔索引

%timeit -n10000 df[np.random.randint(2, size=n).astype(bool)]
# 10000 loops, best of 3: 307 µs per loop

numpy采样&回复DataFrameing

%timeit -n10000 pandas.DataFrame(df.values[np.random.randint(n, size=n)], columns=columns)
# 10000 loops, best of 3: 380 µs per loop

Answer 2

pandas 中的 merge 方法进行了相当优化，所以我试了一下运气，它给了我显着的速度提升。鉴于我的机器比你的慢一点，我也在使用 pandas 0.15.2 情况可能有点不同。

%timeit df.iloc[np.random.randint(n, size=n)]
# 100 loops, best of 3: 2.41 ms per loop

randlist = pandas.DataFrame(index=np.random.randint(n, size=n))
%timeit df.merge(randlist, left_index=True, right_index=True, how='right')
# 1000 loops, best of 3: 1.87 ms per loop

%timeit df.merge(pandas.DataFrame(index=np.random.randint(n, size=n)), left_index=True, right_index=True, how='right')
# 100 loops, best of 3: 2.29 ms per loop