如何填补时间序列数据中缺失的观测值

Question

我有一个假设的时间序列数据框，其中缺少一些观察结果（假设数据框应包括所有日期和相应的值以及一年中的所有日期）。正如我们在头部和尾部信息中看到的那样，缺少某些日期和相应的值（1 月 30 日和 12 月 29 日）。数据框中会出现更多这样的情况，有时会丢失多个连续日期的观察结果。

有没有一种方法可以检测到缺失的日期并将其插入数据框中，并用一周窗口的滚动平均值填充相应的值（这自然会增加数据框的行数）？感谢您的投入。

df.head(3)

    date        value
0   2020-01-28  25
1   2020-01-29  32
2   2020-01-31  45

df.tail(3)

    date        value
3   2020-12-28  24
4   2020-12-30  35
5   2020-12-31  37

df.dtypes
date     object
value     int64
dtype: object

Answer 1

创建DaetimeIndex，然后使用DataFrame.asfreq 滚动和mean：

df['date'] = pd.to_datetime(df['date'])

df = df.set_index('date').asfreq('d').rolling('7D').mean()

如果需要按年份使用的所有值：

df['date'] = pd.to_datetime(df['date'])

idx = pd.date_range('2020-01-01','2020-12-31')
df = df.set_index('date').reindex(idx).rolling('7D').mean()