pandas 如何存储使用`drop_duplicates`删除的行？

Question

注意：请参阅下面的编辑。

我需要记录从我的 df 中删除的所有行，但我不确定如何捕获它们。日志应该是一个数据框，我可以为每个.drop 或.drop_duplicatesoperation 更新它。以下是我要记录删除行的 3 个代码示例：

df_jobs_by_user = df.drop_duplicates(subset=['owner', 'job_number'], keep='first')
df.drop(df.index[indexes], inplace=True)
df = df.drop(df[df.submission_time.dt.strftime('%Y') != '2018'].index)

我发现this 解决了不同的.drop 案例，该案例使用pd.isnull 重新编码pd.dropna 语句，因此允许在实际删除行之前生成日志：

df.dropna(subset=['col2', 'col3']).equals(df.loc[~pd.isnull(df[['col2', 'col3']]).any(axis=1)])

但在尝试使其适应pd.drop_duplicates 时，我发现没有pd.isduplicate 与pd.isnull 平行，因此这可能不是达到我需要的结果的最佳方式。

---

编辑

我在这里重写了我的问题，以便更准确地了解我想要的结果。

我从一个有一个重复行的 df 开始：

import pandas as pd
import numpy as np
df = pd.DataFrame([['whatever', 'dupe row', 'x'], ['idx 1', 'uniq row', np.nan], ['sth diff', 'dupe row', 'x']], columns=['col1', 'col2', 'col3'])
print(df)

# Output:
       col1      col2 col3
0  whatever  dupe row    x
1     idx 1  uniq row  NaN
2  sth diff  dupe row    x

然后我从 jjp 实现解决方案：

df_droplog = pd.DataFrame()
mask = df.duplicated(subset=['col2', 'col3'], keep='first')
df_keep = df.loc[~mask]
df_droplog = df.append(df.loc[mask])

我打印结果：

print(df_keep)
# Output:
       col1      col2 col3
0  whatever  dupe row    x
1     idx 1  uniq row  NaN

df_keep 是我所期望和想要的。

print(df_droplog)
# Output:
       col1      col2 col3
0  whatever  dupe row    x
1     idx 1  uniq row  NaN
2  sth diff  dupe row    x
2  sth diff  dupe row    x

df_droplog 不是我想要的。它包括来自索引 0 和索引 1 的行，这些行没有被删除，因此我不希望在我的删除日志中。它还包括索引 2 中的行两次。我只想要一次。

我想要什么：

print(df_droplog)
# Output:
       col1      col2 col3
2  sth diff  dupe row    x

Answer 1

有一个并行：pd.DataFrame.duplicated 返回一个布尔系列。您可以按如下方式使用它：

df_droplog = pd.DataFrame()

mask = df.duplicated(subset=['owner', 'job_number'], keep='first')
df_jobs_by_user = df.loc[~mask]

df_droplog = df_droplog.append(df.loc[mask])

Answer 2

由于您只需要 df_droplog 中的重复行，因此只需将这些行附加到空数据帧即可。您所做的是将它们附加到原始数据框df。试试这个，

df_droplog = pd.DataFrame()
mask = df.duplicated(subset=['col2', 'col3'], keep='first')
df_keep = df.loc[~mask]
df_droplog = df_droplog.append(df.loc[mask])