如何按一段时间对DataFrame进行分组？答案

【问题标题】：How to group DataFrame by a period of time?如何按一段时间对DataFrame进行分组？
【发布时间】：2012-06-19 21:03:34
【问题描述】：

我有一些来自日志文件的数据，想按一分钟对条目进行分组：

 def gen(date, count=10):
     while count > 0:
         yield date, "event{}".format(randint(1,9)), "source{}".format(randint(1,3))
         count -= 1
         date += DateOffset(seconds=randint(40))

 df = DataFrame.from_records(list(gen(datetime(2012,1,1,12, 30))), index='Time', columns=['Time', 'Event', 'Source'])

df:

 Event  Source
 2012-01-01 12:30:00     event3  source1
 2012-01-01 12:30:12     event2  source2
 2012-01-01 12:30:12     event2  source2
 2012-01-01 12:30:29     event6  source1
 2012-01-01 12:30:38     event1  source1
 2012-01-01 12:31:05     event4  source2
 2012-01-01 12:31:38     event4  source1
 2012-01-01 12:31:44     event5  source1
 2012-01-01 12:31:48     event5  source2
 2012-01-01 12:32:23     event6  source1

我尝试了以下选项：

df.resample('Min') 级别太高，要聚合。
df.groupby(date_range(datetime(2012,1,1,12, 30), freq='Min', periods=4)) 失败并出现异常。

df.groupby(TimeGrouper(freq='Min')) 工作正常并返回一个DataFrameGroupBy 对象以供进一步处理，例如：

grouped = df.groupby(TimeGrouper(freq='Min'))
grouped.Source.value_counts()
2012-01-01 12:30:00  source1    1
2012-01-01 12:31:00  source2    2
                     source1    2
2012-01-01 12:32:00  source2    2
                     source1    2
2012-01-01 12:33:00  source1    1

然而，TimeGrouper 类没有被记录。

按时间段分组的正确方法是什么？如何按一分钟和源列对数据进行分组，例如groupby([TimeGrouper(freq='Min'), df.Source])?

【问题讨论】：

标签： python pandas

【解决方案1】：

您可以对与 DataFrame 长度相同的任何数组/系列进行分组 --- 甚至是实际上不是 DataFrame 列的计算因子。所以按分钟分组，你可以这样做：

df.groupby(df.index.map(lambda t: t.minute))

如果您想按分钟或其他方式分组，只需将上述内容与您要使用的列混合：

df.groupby([df.index.map(lambda t: t.minute), 'Source'])

我个人发现，如果我想经常按它们分组，只需将列添加到 DataFrame 以存储其中一些计算的东西（例如，“分钟”列）很有用，因为它使分组代码不那么冗长。

或者你可以试试这样的：

df.groupby([df['Source'],pd.TimeGrouper(freq='Min')])

【讨论】：

谢谢。我通过以下语句得到了我正在寻找的结果： df.groupby([df.index.map(lambda t: datetime(t.year, t.month, t.day, t.hour, t.minute)), df.Source, df.Event]).size().unstack(level=2)
我怎样才能将它延长到 30 分钟？
这个pd.TimeGrouper可以用来按时间单位的倍数分组df.groupby(pd.TimeGrouper(freq='30Min'))
我想按天对数据进行分组，但我的一天在 02:00 而不是 24:00 结束。如何做到这一点？
TimeGrouper 自 pandas 21 (pandas.pydata.org/pandas-docs/stable/whatsnew/…) 以来已被弃用 - pdGrouper 会在这里替代吗？

【解决方案2】：

由于原始答案相当陈旧并且引入了熊猫periods 现在有一个不同的解决方案：

df.groupby(df.index.to_period('T'))

另外，您可以resample

df.resample('T')

【讨论】：

【解决方案3】：

pd.TimeGrouper 现已折旧。这是使用pd.Grouper的v1.05更新

df['Date'] = df.index

df.groupby(['Source',pd.Grouper(key = 'Date', freq='30min')])

【讨论】：