如何加快 groupby 的速度？

Question

我有以下数据框：

import pandas as pd
array = {'id': [1, 1, 1, 2, 2, 2, 3, 3], 'A': [False, False, True, False, False, False, True, True],
         'B': [False, True, True, False, True, False, False, False]}
df = pd.DataFrame(array)
df

我想在一行中表示每个 id。如果特定列上此 id 的所有值均为 False，则其值应为 False。如果至少有一个是 True - 那么它应该是 True。 我已经开始了：

df.groupby(['id']).sum()

之后，我会将高于 0 的每个值都转换为 1。 这很好用，但我的原始数据框有 2,000,000 行和 14,000 列，因此需要几天时间......

还有其他更快的想法来完成这项任务吗？

Answer 1

您可以通过取最大值而不是每组的总和来保存第二步：

df.groupby(['id']).max()

您可能期望与any 聚合应该更快，因为这样每个子系列只需在到达第一个True 之前进行评估，但显然以下要慢得多（根据 DYZ 的评论）：

df.groupby(['id']).agg(any)

所以我建议使用 NumPy 的 any 函数对其进行测试，它可能会更好地处理这个问题：

import numpy as np
df.groupby(['id']).agg(np.any)

或者你可以不用agg，正如亨利埃克所建议的那样：

df.groupby(['id']).any()

但是，这些方法都没有预期的那么快。因此，也许您最好的选择是将数据帧转换为 NumPy 整数数组并在纯 NumPy 中进行分组。见this question。