【问题标题】:Count data in overlapping rolling windows on pandas dataframe在 Pandas 数据帧上计算重叠滚动窗口中的数据
【发布时间】:2020-08-11 22:56:10
【问题描述】:

我需要使用具有重叠的滚动窗口来计算 pandas 数据帧上的事件。

特别是,我有一个时间不连续事件的数据框,如下所示:

            Ma
2000-01-04  2.2 
2000-01-05  2.6
2000-01-06  3.1
2000-01-16  2.4
2000-01-22  2.1     
2000-01-27  2.5
2000-02-12  2.3
2000-02-19  3.5
2000-02-21  2.4
2000-02-27  2.4

我想计算在 5 天重叠的 10 天时间窗口中发生了多少事件。 这是我正在寻找的结果:

                                Events
from 2000-01-04 to 2000-01-14   3
from 2000-01-09 to 2000-01-19   1
from 2000-01-14 to 2000-01-24   2
from 2000-01-19 to 2000-01-29   2

你有什么建议吗? 我尝试使用 groupby 但我只能计算非重叠窗口中的数据,使用此行:df.groupby(pd.DatetimeIndex(df.Time).to_period("10d")).size()

我也尝试了 Pandas 数据框中的 Rolling.count,但再次失败。

【问题讨论】:

标签: python pandas dataframe


【解决方案1】:

我的方法是根据原始数据框中的最小和最大日期创建一个间隔为 5 天的数据框。 基于此,我提取第 i 行以上和第 i+2 行以下的项目数并计算项目数 . .然后在循环过程中列出它们。最后,我们将其放入数据框中。我确信有更好的方法。

import pandas as pd
import numpy as np
import io

data = '''
date Ma
2000-01-04  2.2 
2000-01-05  2.6
2000-01-06  3.1
2000-01-16  2.4
2000-01-22  2.1     
2000-01-27  2.5
2000-02-12  2.3
2000-02-19  3.5
2000-02-21  2.4
2000-02-27  2.4
'''
df = pd.read_csv(io.StringIO(data), sep='\s+')

df['date'] = pd.to_datetime(df['date'])
df2 = pd.DataFrame({'date':pd.date_range(df['date'].min(), df['date'].max(), freq='5D')})
tmp = []
for i in range(len(df)):
    try:
        cnt = df[(df['date'] >= df2.date[i])&(df['date'] <= df2.date[i+2])].count()
        fromto = 'from'+ str(df2.date[i].strftime('%Y-%m-%d'))+'to'+str(df2.date[i+2].strftime('%Y-%m-%d'))
        tmp.append([fromto, cnt[0]])
    except:
        break
df3 = pd.DataFrame(tmp, columns=['FromTo', 'Events'])

df3
    FromTo  Events
0   from2000-01-04to2000-01-14  3
1   from2000-01-09to2000-01-19  1
2   from2000-01-14to2000-01-24  2
3   from2000-01-19to2000-01-29  2
4   from2000-01-24to2000-02-03  1
5   from2000-01-29to2000-02-08  0
6   from2000-02-03to2000-02-13  1
7   from2000-02-08to2000-02-18  1
8   from2000-02-13to2000-02-23  2

【讨论】:

  • 这是一种有点复杂的方法,但效果很好。谢谢@r-beginners
猜你喜欢
  • 2018-07-10
  • 2018-12-17
  • 1970-01-01
  • 2021-05-20
  • 1970-01-01
  • 2012-12-27
  • 2013-01-04
  • 2015-10-11
相关资源
最近更新 更多