如何在熊猫数据框中组合稀疏行

Question

假设我有一个熊猫数据框：

In [1]: import pandas as pd

...

In [4]: df

Out[3]:
  Person_ID First_Name Last_Name  Phone_Number              Email
1      A456       John       Doe          None               None
2      A456       John       Doe  123-123-1234  john.doe@test.com
3      A890        Joe      Dirt  321-321-4321               None
4      A890        Joe      Dirt          None      joe@email.com

我想进行一些转换以将其变成这样：

  Person_ID First_Name Last_Name  Phone_Number              Email
1      A456       John       Doe  123-123-1234  john.doe@test.com
2      A890        Joe      Dirt  321-321-4321      joe@email.com

即我希望能够获取一个数据框，该数据框可能具有与同一个人相对应的多行数据（并共享一个 Person_ID），但在不同的地方缺少条目，并将这些条目组合成包含所有信息的行。

重要的是，这不仅仅是过滤掉具有更多 None 值的行的任务，例如在我的玩具示例中，第 3 行和第 4 行具有相同数量的 None，但数据是分布在不同的地方。

有人对如何进行此操作有建议吗？

Answer 1

尝试groupby 与fillna 与方法ffill 和bfill 然后drop_duplicates：

df1 = df.groupby('Person_ID').apply(lambda x: x.ffill().bfill()).drop_duplicates()
print (df1)
  Person_ID First_Name Last_Name  Phone_Number              Email
1      A456       John       Doe  123-123-1234  john.doe@test.com
3      A890        Joe      Dirt  321-321-4321      joe@email.com

Answer 2

你可以

In [1571]: df.groupby('Person_ID', as_index=False).apply(
                      lambda x: x.ffill().bfill().iloc[0])
Out[1571]:
  Person_ID First_Name Last_Name  Phone_Number              Email
0      A456       John       Doe  123-123-1234  john.doe@test.com
1      A890        Joe      Dirt  321-321-4321      joe@email.com