Pandas groupby 和 transform 需要很长时间

Question

给定一个与此类似的DataFrame（但有超过一百万行和大约 140000 个不同的groups）

df_test = pd.DataFrame({'group': {1:'A', 2:'A', 3:'A', 4:'A', 5:'B', 6:'B'},
                        'time' : {1:1,   2:3,   3:5,   4:23,  5: 7,  6: 12}})

对于每个group，我想找出time（在我的真实df中实际上是dtype('<M8[ns]')）和group的最短时间之间的区别。

我使用groupby 和transform 管理它，如下所示：

df_test['time_since'] = df_test.groupby('group')['time'].transform(lambda d: d - d.min())

正确产生：

    group   time    time_since
1   A       1       0
2   A       3       2
3   A       5       4
4   A       23      22
5   B       7       0
6   B       12      5

但计算需要将近一分钟。有没有更快/更智能的方法来做到这一点？

Answer 1

我的建议：在transform之外做lambda（计算），所以我们这里不需要lambda。使用 lambda ，我们多次调用计算（取决于有多少组）

df_test=pd.concat([df_test]*1000)
%timeit df_test['time']-df_test.groupby('group')['time'].transform(min)
1000 loops, best of 3: 1.11 ms per loop
%timeit df_test.groupby('group')['time'].transform(lambda d: d - d.min())
The slowest run took 7.20 times longer than the fastest. This could mean that an intermediate result is being cached.
100 loops, best of 3: 2.3 ms per loop