使用 Pandas 将 Dataframe 折叠为每组一行

Question

我有一个如下所示的数据框：

id A    B     date
a  1    NAN 2016-01-01
a  NAN  6   2016-01-02
a  7    NAN 2016-10-01
b  3    5   2016-12-01

我想按日期和 ID 折叠（每个组都放在一行中，使用组中最后一个日期的数据，并用组中的最新数据填充缺失的数据）。 groupby 大致如下所示：

df.groupby(['id', pd.Grouper(key='date', freq='30D')])

这将产生一个像这样的数据框：

id A    B     date
a  1    6   2016-01-02
a  7    NAN 2016-10-01
b  3    5   2016-12-01

一个非常简单的例子。我相信我的 groupby 会起作用，但我不确定如何将行组合成一行，并使用每列中的最新数据聚合数据，如有必要，转发填充数据（如果它们都是 NAN，只需使用一个 NAN)。

Answer 1

df.groupby(['id', pd.Grouper(key='date', freq='30D')]).apply(lambda g: g[["A", "B"]].ffill().iloc[-1])

结果：

               A    B
id date
a  2016-01-01  1  6.0
   2016-09-27  7  NaN
b  2016-11-26  3  5.0

编辑：为了解决您的评论，如果您想避免使用apply，您也可以使用两个groupbys：

groupers = ['id', pd.Grouper(key='date', freq='30D')]
df.groupby(groupers).ffill().groupby(groupers).last()

结果：

               A    B
id date
a  2016-01-01  1    6
   2016-09-27  7  NaN
b  2016-11-26  3    5

看起来性能类似于apply：

In [1]: groupers = ['id', pd.Grouper(key='date', freq='30D')]

In [2]: %%timeit
    ...: df.groupby(groupers).ffill().groupby(groupers).last()
    ...:
100 loops, best of 3: 9.79 ms per loop

In [3]: %%timeit
    ...: df.groupby(groupers).apply(lambda g: g[["A", "B"]].ffill().iloc[-1])
    ...:
100 loops, best of 3: 10.5 ms per loop