使用 Pandas Dataframe 识别和记录重叠的时间间隔答案

【问题标题】：Identify and record overlapping time intervals with Pandas Dataframe使用 Pandas Dataframe 识别和记录重叠的时间间隔
【发布时间】：2020-08-13 22:34:41
【问题描述】：

目前，对于我要解决的问题，我非常困惑。我有一个包含 4 列的数据框。我想尝试按天和 id 查找重叠时间。例如，我的 df 如下所示：

+------+--------------+-----------------------+----------------------+
| id   |   date       |  time_start           |  end_time            |
+--------------------------------------------------------------------+
| 123  |   2019-11-10 |  2019-11-10 08:00:00  |  2019-11-10 08:30:00 |
|      |              |                       |                      |
| 123  |   2019-11-10 |  2019-11-10 08:15:00  |  2019-11-10 08:30:00 |
|      |              |                       |                      |
| 123  |   2019-11-10 |  2019-11-10 08:25:00  |  2019-11-10 08:45:00 |
|      |              |                       |                      |
| 123  |   2019-11-11 |  2019-11-11 08:00:00  |  2019-11-11 08:30:00 |
|      |              |                       |                      |
| 123  |   2019-11-11 |  2019-11-11 08:30:00  |  2019-11-11 09:00:00 |
+------+--------------+-----------------------+----------------------+

import pandas as pd 

data = {'id':['123', '123', '123', '123','123'], 'date':['2019-11-10', '2019-11-10', '2019-11-10', '2019-11-11', '2019-11-11'],
        'time_start':['2019-11-10 08:00:00', '2019-11-10 08:15:00', '2019-11-10 08:25:00', '2019-11-11 08:00:00', '2019-11-11 08:30:00'],
        'end_time':['2019-11-10 08:30:00','2019-11-10 08:30:00','2019-11-10 08:45:00','2019-11-11 08:30:00','2019-11-11 09:00:00']}

df = pd.DataFrame(data)

,id,date,time_start,end_time
0,123,2019-11-10,2019-11-10 08:00:00,2019-11-10 08:30:00
1,123,2019-11-10,2019-11-10 08:15:00,2019-11-10 08:30:00
2,123,2019-11-10,2019-11-10 08:25:00,2019-11-10 08:45:00
3,123,2019-11-11,2019-11-11 08:00:00,2019-11-11 08:30:00
4,123,2019-11-11,2019-11-11 08:30:00,2019-11-11 09:00:00

我希望看到类似于以下的结果：

+----+------------+----------------------+---------------------+---------------+-------------------------+-----------------+
|id  | date       |  time_start          | time_end            | overlap_count |  total_minutes_recorded |   actual_minutes|
+--------------------------------------------------------------------------------------------------------------------------+
|123 | 2019-11-10 |  2019-11-10 08:00:00 | 2019-11-10 08:45:00 | 3             |  65                     |   45            |
|    |            |                      |                     |               |                         |                 |
|123 | 2019-11-11 |  2019-11-11 08:00:00 | 2019-11-11 09:00:00 | 0             |  60                     |   60            |
+----+------------+----------------------+---------------------+---------------+-------------------------+-----------------+

我查看了其他答案，这些答案开始让我了解如何解决这个问题，例如：

Pandas: Count time interval intersections over a group by

这些答案中的大多数只是给我一个重叠时间的计数，并且需要很长时间来计算。有没有什么技巧可以开始解决这个问题

【问题讨论】：

您想获取相同开始时间但相差 1 天的值吗？
请不要在降价表中发布数据，它们不容易重现。请查看How to provide a reproducible copy of your DataFrame using df.head(10).to_clipboard()，然后edit您的问题，然后将剪贴板粘贴到代码块中。
您在预期输出中显示了错误的数据：time_end 如果与主 df 中的不同
@TrentonMcKinney 谢谢。我会这样做的
谢谢@sygneto 我现在已经更正了这些日期

标签： python pandas datetime

【解决方案1】：

我不知道你是如何在第一行获得overlap_count 和total_minutes_recorded 的值，我猜这是错误

df= pd.DataFrame({
    'id':[123,123,123,123,123],
    'date':['2019-11-10','2019-11-10','2019-11-10','2019-11-11','2019-11-11'],
    'time_start':['2019-11-10 08:00:00','2019-11-10 08:15:00','2019-11-10 08:25:00',
                  '2019-11-11 08:00:00','2019-11-11 08:30:00'],
    'end_time':['2019-11-10 08:30:00','2019-11-10 08:30:00','2019-11-10 08:45:00',
                '2019-11-11 08:30:00','2019-11-11 09:00:00']
})
df['date'] = pd.to_datetime(df['date'])
df['time_start'] = pd.to_datetime(df['time_start'])
df['end_time'] = pd.to_datetime(df['end_time'])
df_temp=df
df = pd.merge(df,df_temp,on='id')
df=df[
    ((df.time_start_x - df.time_start_y) == np.timedelta64(1, 'D'))
]
df_temp=df[['id','date_x','time_start_x','end_time_x']]
df_temp1 = df[['id','date_y','time_start_y','end_time_y']]
df_temp=df_temp.rename(columns={"date_x": "date", "time_start_x": "time_start",
                                "end_time_x":"end_time"})
df_temp1=df_temp1.rename(columns={"date_y": "date", "time_start_y": "time_start",
                                "end_time_y":"end_time"})

df=pd.concat([df_temp,df_temp1])
df=df[['id','date','time_start','end_time']].sort_values(by='date')

df['total_minutes_recorded'] = df['end_time']-df['time_start']

print(df)
     id       date          time_start            end_time total_minutes_recorded
15  123 2019-11-10 2019-11-10 08:00:00 2019-11-10 08:30:00               00:30:00
15  123 2019-11-11 2019-11-11 08:00:00 2019-11-11 08:30:00               00:30:00

【讨论】：

最后一个值的 end_time 应该是 9:00:00。如图所示，它的值为 8:30:00。有点不对劲。

【解决方案2】：

使用 groupby 按日期分组，然后定义一个将每个日期作为数据框的函数。我会给你get_minutes_recorded。 get_overlap_counts 涉及更多一些 - 您可以通过保持每个索引的 0 向量来解决它，循环遍历所有日期 i，如果第 i 行的 end_date[i] 在行的开头和结尾之间 n ，制作vector[n] = 1。

def function(sub_df):
    overlap_count = get_overlap_count(sub_df)
    total_minutes_recorded = get_minutes_recorded(sub_df)
    return overlap_count, total_minutes_recorded

def get_overlap_counts(df):
    pass

def get_minutes_recorded(df):
    return (df[end_time] - df[start_time]).dt.seconds.sum()
    

df.groupby('date').apply(function)

【讨论】：