在python中显示给定的开始和结束日期缺少的时间戳答案

【问题标题】：Display missing timestamp given start and end date in python在python中显示给定的开始和结束日期缺少的时间戳
【发布时间】：2018-03-01 14:28:47
【问题描述】：

数据集包含时间和温度值。还给出了开始和结束日期。

start_date = '22-02-2018 10:35:29'
end_date = '23-02-2018 10:34:29'

TIMESTAMP           Temp1   Temp2
22-02-2018 14:35    4.34    4.93
22-02-2018 14:36    4.35    5.02
22-02-2018 14:37    4.35    5.1
22-02-2018 14:39    4.31    5.23
22-02-2018 14:40    4.29    5.26
22-02-2018 14:41    4.26    5.24
22-02-2018 14:42    4.24    5.17
22-02-2018 14:47    4.09    4.64
22-02-2018 14:48    4.08    4.55
22-02-2018 14:49    4.08    4.48
22-02-2018 14:50    4.09    4.48
22-02-2018 14:51    4.11    4.5
22-02-2018 14:54    4.22    4.66
22-02-2018 14:55    4.25    4.72

缺少从开始日期到结束日期的时间戳。所以我想添加与 temp1 和 temp2 数据中的 NAN 值相对应的开始数据和结束日期的时间戳。频率是60S。

想要的结果：

TIMESTAMP           Temp1 Temp2
22-02-2018 10:35    NaN NaN
22-02-2018 10:36    NaN NaN
22-02-2018 10:37    NaN NaN
22-02-2018 10:38    NaN NaN
22-02-2018 10:39    NaN NaN
22-02-2018 10:40    NaN NaN
22-02-2018 10:41    NaN NaN
22-02-2018 10:42    NaN NaN
.
.
.
22-02-2018 14:35    4.34    4.93
22-02-2018 14:36    4.35    5.02
22-02-2018 14:37    4.35    5.1
22-02-2018 14:38    NaN     NaN
22-02-2018 14:39    4.31    5.23
22-02-2018 14:40    4.29    5.26
22-02-2018 14:41    4.26    5.24
22-02-2018 14:42    4.24    5.17
22-02-2018 14:43    NaN NaN
22-02-2018 14:44    NaN NaN
22-02-2018 14:45    NaN NaN
22-02-2018 14:46    NaN NaN
22-02-2018 14:47    4.09    4.64
22-02-2018 14:48    4.08    4.55
22-02-2018 14:49    4.08    4.48

【问题讨论】：

如果缺少，您还需要添加日期吗？

标签： python timestamp missing-data

【解决方案1】：

我认为您首先需要 DatetimeIndex 然后 reindex by date_range - 是对齐值的必要条件，因此添加了 floor 以获得精确度：

print (df.index)
DatetimeIndex(['2018-02-22 14:35:00', '2018-02-22 14:36:00',
               '2018-02-22 14:37:00', '2018-02-22 14:39:00',
               '2018-02-22 14:40:00', '2018-02-22 14:41:00',
               '2018-02-22 14:42:00', '2018-02-22 14:47:00',
               '2018-02-22 14:48:00', '2018-02-22 14:49:00',
               '2018-02-22 14:50:00', '2018-02-22 14:51:00',
               '2018-02-22 14:54:00', '2018-02-22 14:55:00'],
              dtype='datetime64[ns]', name='TIMESTAMP', freq=None)


dates = pd.date_range(start_date, end_date, freq='60S').floor('60S')
df = df.reindex(dates)

使用更改的开始和结束日期进行验证：

start_date = '22-02-2018 14:32:29'
end_date = '22-02-2018 14:58:29'

dates = pd.date_range(start_date, end_date, freq='60S').floor('60S')
df = df.reindex(dates)
print (df)
                     Temp1  Temp2
2018-02-22 14:32:00    NaN    NaN
2018-02-22 14:33:00    NaN    NaN
2018-02-22 14:34:00    NaN    NaN
2018-02-22 14:35:00   4.34   4.93
2018-02-22 14:36:00   4.35   5.02
2018-02-22 14:37:00   4.35   5.10
2018-02-22 14:38:00    NaN    NaN
2018-02-22 14:39:00   4.31   5.23
2018-02-22 14:40:00   4.29   5.26
2018-02-22 14:41:00   4.26   5.24
2018-02-22 14:42:00   4.24   5.17
2018-02-22 14:43:00    NaN    NaN
2018-02-22 14:44:00    NaN    NaN
2018-02-22 14:45:00    NaN    NaN
2018-02-22 14:46:00    NaN    NaN
2018-02-22 14:47:00   4.09   4.64
2018-02-22 14:48:00   4.08   4.55
2018-02-22 14:49:00   4.08   4.48
2018-02-22 14:50:00   4.09   4.48
2018-02-22 14:51:00   4.11   4.50
2018-02-22 14:52:00    NaN    NaN
2018-02-22 14:53:00    NaN    NaN
2018-02-22 14:54:00   4.22   4.66
2018-02-22 14:55:00   4.25   4.72
2018-02-22 14:56:00    NaN    NaN
2018-02-22 14:57:00    NaN    NaN
2018-02-22 14:58:00    NaN    NaN

另一种解决方案，特别是如果重复值是添加开始和结束日期时间和 resample 与一些聚合函数，例如sum:

df.loc[pd.to_datetime(start_date)] = np.nan
df.loc[pd.to_datetime(end_date)] = np.nan
df = df.resample('60S').sum()

【讨论】：

试过了，但没有得到正确的结果。
@N.Mittal - 我很困惑，为什么 22-02-2018 10:42 和 22-02-2018 14:35 之间不是行？
有行只是这些是空值。所以我忘了指定那些行。我已经编辑了问题。
@N.Mittal - 好的，但我的两个解决方案都根据需要添加 NaNs 值。那么为什么我的解决方案对你来说失败了？
您的第一个解决方案与我的解决方案类似，但无法解决，即使对于现有时间戳，它也会给出 NaN。我会尝试第二个。