向前搜索时合并两个数据帧

Question

我有两个 Pandas 数据帧，我需要合并它们以获取一组员工的完整历史记录。

两个框架都包含员工ID和数据有效时间的时间戳。但是一个表中的时间戳有时有点“晚”，这意味着第二个数据帧的时间戳是 on 或 在第一个数据帧中的时间戳。

示例数据

import pandas as pd

df = pd.DataFrame(
    {'ID': [1000, 1000, 1002, 1003, 1004],
        'Start Date': [
            pd.Timestamp('2021-01-01'),
            pd.Timestamp('2021-01-01'),
            pd.Timestamp('2021-04-01'),
            pd.Timestamp('2021-01-01'),
            pd.Timestamp('2021-01-01')
    ],
        'Name': ['Joe', 'Bill', 'Bill', 'Martin', 'Jane']
    }
)

df2 = pd.DataFrame(
    {'ID': [1000, 1002, 1002, 1003, 1004],
        'Start Date': [
            pd.Timestamp('2021-01-01'),
            pd.Timestamp('2021-01-01'),
            pd.Timestamp('2021-04-05'),
            pd.Timestamp('2021-01-01'),
            pd.Timestamp('2021-01-10')
    ],
        'Position': ['Operator', 'Operator', 'Manager', 'Operator', 'Operator']})

df = df.merge(df2, how='left', on=['ID', 'Start Date'])
print(df)

输出

df

     ID Start Date    Name
0  1000 2021-01-01     Joe
1  1000 2021-01-01    Bill
2  1002 2021-04-01    Bill
3  1003 2021-01-01  Martin
4  1004 2021-01-01    Jane

df2

     ID Start Date  Position
0  1000 2021-01-01  Operator
1  1002 2021-01-01  Operator
2  1002 2021-04-05   Manager
3  1003 2021-01-01  Operator
4  1004 2021-01-10  Operator

合并的df

     ID Start Date    Name  Position
0  1000 2021-01-01     Joe  Operator
1  1000 2021-01-01    Bill  Operator
2  1002 2021-04-01    Bill       NaN
3  1003 2021-01-01  Martin  Operator
4  1004 2021-01-01    Jane       NaN

我想整理代码或修改数据，以便将一个数据框中的 bill 和 Jane 的数据与另一个数据框中的移位行合并。

我想过（但不知道怎么做）的一些解决方案是：

• 在第二个数据框中填充数据，以便所有行都显示在给定的日期范围内（例如，确保账单“经理”标题存在于 2021 年 1 月 2 日及以后的所有日期，等等所有 ID )
• 将合并命令与允许在第二个数据帧中“向前搜索”直到找到匹配项的命令交换。

Answer 1

我不确定我和 BENY 的理解是一样的，我觉得每个 ID 只保留最新的更有意义？

(df.merge(df2, how='left', on='ID', suffixes=('_drop', ''))
   .loc[lambda d: ~d['ID'].duplicated(keep='last')]
   .drop('Start Date_drop', axis=1)
)

输出：

     ID    Name Start Date  Position
1  1000    Bill 2021-01-01  Operator
3  1002    Bill 2021-04-05   Manager
4  1003  Martin 2021-01-01  Operator
5  1004    Jane 2021-01-10  Operator