【问题标题】:Filter the dataframe by having only the rows that are month apart from each other通过仅包含彼此相隔一个月的行来过滤数据框
【发布时间】:2019-05-07 13:15:36
【问题描述】:
Date    Latitude    Longitude   Disaster
2011-01-10  56.79   89.90   Cyclone
2011-02-09  45.01   79.24   Cyclone
2010-11-20  34.08   69.92   Cyclone
2010-12-19  66.78   125.35  Cyclone
2017-09-10  56.99   98.22   Cyclone

我有一个数据框,我需要对其进行过滤,以便它包含有关在一个月的时间范围内重复发生气旋活动的位置的数据
我使用合并操作来查找发生在同一位置的成对旋风-

merged_df = df.merge(df, on= ["Longitude","Latitude"], how ="inner")

我能够在一个月内找到特定日期的数据,例如:2002-01-01,使用

df[dt['Date'] >= date(2002,1,1) & df['Date'] < date(2002,1,1) + relativedelta(months=1)].count()

但我无法弄清楚我应该如何将其应用于整个数据帧,以便它为我提供有关在一个月的时间范围内重复发生气旋活动的位置的信息。有人可以帮我实现吗?

【问题讨论】:

    标签: python pandas dataframe time-series pandas-groupby


    【解决方案1】:

    如果你有记忆,merge 本身,然后在合并后过滤到仅在 1 个月内发生的那些旋风。使用pd.offsets.DateOffset得到与relativedelta相同的逻辑

    import pandas as pd
    
    df['Date'] = pd.to_datetime(df.Date)
    df = df[df.Disaster=='Cyclone'].reset_index()  # Need index to deduplicate later
    
    merged = df.merge(df, on='Disaster', suffixes=['_1', '_2'])
    
    mask = ((merged.index_1 > merged.index_2)  # Remove self merges and AB-BA duplicates
            & merged.Date_1.between(merged.Date_2 - pd.offsets.DateOffset(months=1), 
                                    merged.Date_2 + pd.offsets.DateOffset(months=1)))
    
    merged = merged[mask].drop(columns=['index_1', 'index_2'])
    

    输出:merged

           Date_1  Latitude_1  Longitude_1 Disaster     Date_2  Latitude_2  Longitude_2
    5  2011-02-09       45.01        79.24  Cyclone 2011-01-10       56.79        89.90
    15 2010-12-19       66.78       125.35  Cyclone 2011-01-10       56.79        89.90
    17 2010-12-19       66.78       125.35  Cyclone 2010-11-20       34.08        69.92
    

    如果您真的只需要原始 DataFrame 中的行并且配对无用,则不要删除 ['index_1', 'index_2'] 并使用唯一值对原始 DataFrame 进行子集化,或者在 merged 上使用 pd.wide_to_long + drop_duplicates 将其格式化回原来的样子。

    【讨论】:

    • 由于我需要在一个月的时间范围内反复发生气旋活动的地方,我是否应该对同一位置应用纬度和经度的合并。
    • @Basileus 我没有在纬度或经度上进行任何合并。我只是合并Disaster,在这种情况下,它只会创建两个旋风分离器的每一个成对组合,而不考虑其他任何事情。因此,如果您有一个带有 900 个旋风分离器的 DataFrame,则生成的合并将是 810,000 行。你可以在我的输出DataFrame看到两个气旋的经纬度差别很大。
    • 另外,您的评论表明您真正想要的可能与您对问题标题的措辞有很大不同。如果您只需要弄清楚November 2012 中是否发生了不止一个旋风,那么这要容易得多。但是进行日历月滚动操作要困难得多。如果您改为将一个月指定为 31 天,这将变得非常容易。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-03-17
    • 1970-01-01
    • 2015-05-18
    • 2022-01-04
    • 2020-11-21
    相关资源
    最近更新 更多