如何使用熊猫查找序列中缺失的日期行？

Question

我有一个超过4 million rows and 30 columns 的数据框。我只是提供我的患者数据框的样本

df = pd.DataFrame({
    'subject_ID':[1,1,1,1,1,2,2,2,2,2,3,3,3],
    'date_visit':['1/1/2020 12:35:21','1/1/2020 14:35:32','1/1/2020 16:21:20','01/02/2020 15:12:37','01/03/2020 16:32:12',
                 '1/1/2020 12:35:21','1/3/2020 14:35:32','1/8/2020 16:21:20','01/09/2020 15:12:37','01/10/2020 16:32:12',
                 '11/01/2022 13:02:31','13/01/2023 17:12:31','16/01/2023 19:22:31'],
    'item_name':['PEEP','Fio2','PEEP','Fio2','PEEP','PEEP','PEEP','PEEP','PEEP','PEEP','Fio2','Fio2','Fio2']})

我想做两件事

1) 找出序列中缺失的主题及其记录

2) 获取每个主题的item_name 计数

对于q2，这是我尝试过的

df.groupby(['subject_ID','item_name']).count()  # though this produces output, column name is not okay. I mean why do it show the count value on `date_visit` column?

对于q1，这就是我正在尝试的

df['day'].le(df['shift_date'].add(1))

我希望我的输出如下所示

Answer 1

您可以通过以下方式获得第一部分：

In [14]: df.groupby("subject_ID")['item_name'].value_counts().unstack(fill_value=0)
Out[14]:
item_name   Fio2  PEEP
subject_ID
1              2     3
2              0     5
3              3     0

编辑：

我认为您的示例输出中的日期格式仍然有些混乱，因此强烈建议您将所有内容切换到 ISO 8601 标准，因为这样可以防止出现类似问题。 pandas 无法自行正确解析 11/01/2022 条目，因此我在示例中手动修复了它。

使用我假设的这些日期，您可以通过分组和使用.resample() 找到差距：

In [73]: df['dates'] = pd.to_datetime(df['date_visit'])

In [74]: df.loc[10, 'dates'] = pd.to_datetime("2022-01-11 13:02:31")

In [75]: dates = df.groupby("subject_ID").apply(lambda x: x.set_index('dates').resample('D').first())

In [76]: dates.index[dates.isnull().any(axis=1)].to_frame().reset_index(drop=True)
Out[76]:
   subject_ID      dates
0           2 2020-01-02
1           2 2020-01-04
2           2 2020-01-05
3           2 2020-01-06
4           2 2020-01-07
5           3 2022-01-12
6           3 2022-01-14
7           3 2022-01-15

然后，您可以通过检查 ID 是否出现在这个新框架中来将 seq status 添加到第一个框架。