Pandas - 按日期对日内时间序列进行分组答案

【问题标题】：Pandas - grouping intra day timeseries by datePandas - 按日期对日内时间序列进行分组
【发布时间】：2013-01-16 18:25:21
【问题描述】：

我有一个多天的日内日志返回系列，我想将其缩减为每日 ohlc。我可以做类似的事情

hi = series.resample('B', how=lambda x: np.max(np.cumsum()))
low = series.resample('B', how=lambda x: np.min(np.cumsum()))

但每次调用计算 cumsum 似乎效率低下。有没有办法先计算 cumsums 然后将 'ohcl' 应用于数据？

1999-08-09 12:30:00-04:00   -0.000486
1999-08-09 12:31:00-04:00   -0.000606
1999-08-09 12:32:00-04:00   -0.000120
1999-08-09 12:33:00-04:00   -0.000037
1999-08-09 12:34:00-04:00   -0.000337
1999-08-09 12:35:00-04:00    0.000100
1999-08-09 12:36:00-04:00    0.000219
1999-08-09 12:37:00-04:00    0.000285
1999-08-09 12:38:00-04:00   -0.000981
1999-08-09 12:39:00-04:00   -0.000487
1999-08-09 12:40:00-04:00    0.000476
1999-08-09 12:41:00-04:00    0.000362
1999-08-09 12:42:00-04:00   -0.000038
1999-08-09 12:43:00-04:00   -0.000310
1999-08-09 12:44:00-04:00   -0.000337
...
1999-09-28 06:45:00-04:00    0.000000
1999-09-28 06:46:00-04:00    0.000000
1999-09-28 06:47:00-04:00    0.000000
1999-09-28 06:48:00-04:00    0.000102
1999-09-28 06:49:00-04:00   -0.000068
1999-09-28 06:50:00-04:00    0.000136
1999-09-28 06:51:00-04:00    0.000566
1999-09-28 06:52:00-04:00    0.000469
1999-09-28 06:53:00-04:00    0.000000
1999-09-28 06:54:00-04:00    0.000000
1999-09-28 06:55:00-04:00    0.000000
1999-09-28 06:56:00-04:00    0.000000
1999-09-28 06:57:00-04:00    0.000000
1999-09-28 06:58:00-04:00    0.000000
1999-09-28 06:59:00-04:00    0.000000

【问题讨论】：

标签： python numpy pandas time-series

【解决方案1】：

df.groupby([df.index.year, df.index.month, df.index.day]).transform(np.cumsum).resample('B', how='ohlc')

我认为这可能是我想要的，但我必须测试。

编辑： zelazny7回复后：

df.groupby(pd.TimeGrouper('D')).transform(np.cumsum).resample('D', how='ohlc')

有效，而且比我以前的解决方案更有效。

更新：

pd.TimeGrouper('D') 自 pandas v0.21.0 以来已弃用。

改用pd.Grouper()：

df.groupby(pd.Grouper(freq='D')).transform(np.cumsum).resample('D', how='ohlc')

【讨论】：

似乎工作正常（使用 0.9.1）。现在使用来自@Zelazny7 的酷炫的TimeGrouper 技巧而不是[df.index.year ...]，你得到了一个很好的解决方案。
在 0.10.1 版本中，当使用 ohlc 类的 ohlc 方法时，我得到了一个 NotImplementedError
我检查了“0.10.1.dev-c934e02”，它也适用于该版本。

【解决方案2】：

我无法让您的重新采样建议生效。你有运气吗？这是一种在工作日级别聚合数据并一次性计算 OHLC 统计数据的方法：

from io import BytesIO
from pandas import *

text = """1999-08-09 12:30:00-04:00   -0.000486
1999-08-09 12:31:00-04:00   -0.000606
1999-08-09 12:32:00-04:00   -0.000120
1999-08-09 12:33:00-04:00   -0.000037
1999-08-09 12:34:00-04:00   -0.000337
1999-08-09 12:35:00-04:00    0.000100
1999-08-09 12:36:00-04:00    0.000219
1999-08-09 12:37:00-04:00    0.000285
1999-08-09 12:38:00-04:00   -0.000981
1999-08-09 12:39:00-04:00   -0.000487
1999-08-09 12:40:00-04:00    0.000476
1999-08-09 12:41:00-04:00    0.000362
1999-08-09 12:42:00-04:00   -0.000038
1999-08-09 12:43:00-04:00   -0.000310
1999-08-09 12:44:00-04:00   -0.000337"""

df = read_csv(BytesIO(text), sep='\s+', parse_dates=[[0,1]], index_col=[0], header=None)

在这里，我创建了一个字典字典。外部键引用您想要应用函数的列。内部键包含聚合函数的名称，内部值是您要应用的函数：

f = {2: {'O':'first',
         'H':'max',
         'L':'min',
         'C':'last'}}

df.groupby(TimeGrouper(freq='B')).agg(f)

Out:
                   2
                   H         C         L         O
1999-08-09  0.000476 -0.000337 -0.000981 -0.000486

【讨论】：