通过自定义聚合功能提高 pandas groupby 的效率

Question

我有一个不太大的数据框（就形状而言，在2000x10000 范围内）。

我正在尝试groupby 一个列，并平均前 N 个非空条目：

例如

def my_part_of_interest(v,N=42):
   valid=v[~np.isnan(v)]
   return np.mean(valid.values[0:N])

mydf.groupby('key').agg(my_part_of_interest)

现在需要很长时间（几十分钟），当.agg(np.nanmean) 而是以秒为单位。

如何让它运行得更快？

Answer 1

需要考虑的一些事项：

1. 通过单个操作删除整个 df 上的 nan 条目比在分组数据集块上删除更快 mydf.dropna(subset=['v'], inplace=True)
2. 使用 .head 切片 mydf.groupby('key').apply(lambda x: x.head(42).agg('mean')

我认为这些结合起来可以稍微优化一些东西，而且它们更适合 pandas。