如果两列中的记录没有在数据集中至少出现两次，则删除 pandas 中的行

Question

我有一个包含日期和公司名称的数据集。我只想保留行，以便公司名称和日期的组合至少出现在数据集中两次。

为了说明问题，让我们假设我有以下数据框：

df1 = pd.DataFrame(np.array([['28/02/2017', 'Apple'], ['28/02/2017', 'Apple'], ['31/03/2017', 'Apple'],['28/02/2017', 'IBM'],['28/02/2017', 'WalMart'],
['28/02/2017', 'WalMart'],['03/07/2017', 'WalMart']]), columns=['date','keyword'])

我想要的输出是：

df2 = pd.DataFrame(np.array([['28/02/2017', 'Apple'], ['28/02/2017', 'Apple'],
                             ['28/02/2017', 'WalMart'],
                             ['28/02/2017', 'WalMart']]), columns=['date', 'keyword'])

我知道如何根据两列中的条件删除行，但我不知道如何根据数据集中两个值的组合出现的次数来删除行。

谁能提供一些见解？

Answer 1

使用DataFrame.duplicated 指定列用于检查欺骗，keep=False 用于通过boolean indexing 返回所有欺骗行：

df2 = df1[df1.duplicated(subset=['date','keyword'], keep=False)]
print (df2)
         date  keyword
0  28/02/2017    Apple
1  28/02/2017    Apple
4  28/02/2017  WalMart
5  28/02/2017  WalMart

如果需要指定行数，请使用GroupBy.transform，计数为GroupBy.size：

df2 = df1[df1.groupby(['date','keyword'])['date'].transform('size') >= 2]

如果小 DataFrame 或性能不重要，请使用 filter:

df2 = df1.groupby(['date','keyword']).filter(lambda x: len(x) >= 2)
print (df2)
         date  keyword
0  28/02/2017    Apple
1  28/02/2017    Apple
4  28/02/2017  WalMart
5  28/02/2017  WalMart

Answer 2

df1.groupby(['date','keyword']).apply(lambda x: x if len(x) >= 2 else None).dropna()

输出

         date  keyword
0  28/02/2017    Apple
1  28/02/2017    Apple
4  28/02/2017  WalMart
5  28/02/2017  WalMart