Pandas 基于时间的平均值

Question

我已经将不同的数据从 homeassistant 导入到 influx db，现在我将它放在 pandas 数据框中，我想获取 mean() 但它应该基于索引中的时间。

我选择了一个小的df进行测试，它看起来像这样：

                                   value
time                                   
2021-03-09 07:25:41.989791+00:00    0.0
2021-03-09 07:26:45.165453+00:00    0.0
2021-03-09 16:56:04.806150+00:00    1.0
2021-03-09 18:10:57.762609+00:00    0.0
2021-03-09 19:45:55.182860+00:00    1.0
2021-03-09 19:49:27.519186+00:00    0.0

所以这只是我家中的一盏灯。随着时间的推移，我希望得到平均值。所以我可以看到它打开的时间有多少。当它说 1 时，它应该是 1，直到下一个数据点。在这个 df 中，平均值应该非常低，因为大多数时候灯是关闭的。它仅在 16:56:04 至 18:10:57 和 19:45:55 至 19:49:27 之间开启。所以它大约打开：1 小时 19 分钟，总记录时间 12 小时 23 分钟。所以灯亮了大约 10% 的记录时间。

还有两个问题：

1. 我的传感器具有不同于 1 和 0 的值（例如温度）

   2.日子会变的。

我真的不知道如何开始有没有人有想法？

Answer 1

您可以计算每个值的持续时间（time_next - time，然后转换为秒），然后取每天的加权平均值：

# calculate durations
df['date'] = df['time'].dt.date
df['time_next'] = df['time'].shift(-1).ffill()
df['duration_s'] = (df['time_next'] - df['time']).dt.seconds

# calculate weighted average by date
df.groupby('date').apply(
    lambda z: np.average(z['value'], weights=z['duration_s']))

输出：

date
2021-03-09    0.105416
dtype: float64

附：值可以是任意数字，当然不仅仅是二进制

---

更新：

为了正确处理多日系列，我们可以更改数据框，使用当天看到的最后一个值添加每天结束（或第二天开始）的记录。

例如，在原始帖子的示例数据中，0 的值是 2021-03-10 00:00:00。这样，当天最后一条记录的持续时间将显示距离当天结束的剩余秒数，从而使我们的加权平均值计算正确。

这是如何在代码中完成的（这里我假设time 是原始数据帧的索引）：

# add day-end values
z = df.append(
    df.resample('1d', label='right').last().ffill()
).sort_index()

# calculate durations
z['duration_s'] = -z.index.to_series().diff(-1).dt.total_seconds()

# calculate weighted average by date
z.groupby(z.index.date).apply(
    lambda z: np.average(z['value'], weights=z['duration_s'])).dropna()