熊猫：熊猫 groupby 过滤器可以在原始对象上工作吗？

Question

从这个问题开始。

Python Pandas: remove entries based on the number of occurrences

data = pandas.DataFrame(
    {'pid' : [1,1,1,2,2,3,3,3],
     'tag' : [23,45,62,24,45,34,25,62],
     })

   #    pid  tag
   # 0    1   23
   # 1    1   45
   # 2    1   62 
   # 3    2   24
   # 4    2   45
   # 5    3   34
   # 6    3   25
   # 7    3   62

   g = data.groupby('tag')
   g.filter(lambda x: len(x) > 1) # filters out lengths > 1. 

  #     pid  tag
  #  1    1   45
  #  2    1   62
  #  4    2   45
  #  7    3   62


 #This would create a new object g: 
 g  =   g.filter(lambda x: len(x) > 1) #where g is now a dataframe. 

我想知道有没有办法通过删除来过滤掉“组” 它们来自原始对象g。而且，它会比从过滤后的 groupby 创建一个新的groupby 对象更快吗？

Answer 1

几个选项（你的在底部）：

第一个是inplace，我尽可能快地做到了。它比您的解决方案快一点，但不是因为将行放置到位。我可以使用第二个选项获得更好的性能，这不会改变。

%%timeit
data = pd.DataFrame(
    {'pid' : [1,1,1,2,2,3,3,3],
     'tag' : [23,45,62,24,45,34,25,62],
     })

mask = ~data.duplicated(subset=['tag'], keep=False)
data.drop(mask[mask].index, inplace=True)
data

1000 loops, best of 3: 1.16 ms per loop

---

%%timeit
data = pd.DataFrame(
    {'pid' : [1,1,1,2,2,3,3,3],
     'tag' : [23,45,62,24,45,34,25,62],
     })

data = data.loc[data.duplicated(subset=['tag'], keep=False)]
data

1000 loops, best of 3: 719 µs per loop

---

%%timeit
data = pd.DataFrame(
    {'pid' : [1,1,1,2,2,3,3,3],
     'tag' : [23,45,62,24,45,34,25,62],
     })
g = data.groupby('tag')
g = g.filter(lambda x: len(x) > 1)
g

1000 loops, best of 3: 1.55 ms per loop

Answer 2

解决这个问题的方法只有这么多。我的答案包括 4 个解决方案。我敢肯定，还有其他方法。也许其他一些答案会提供更好的方法。

解决方案 #1：

data = data.groupby('tag').filter(lambda x: len(x) > 1)
   pid  tag
1   1   45
2   1   62
4   2   45
7   3   62

解决方案 #2：

data['count'] = data.groupby(['tag']).transform('count')
data.loc[data['count'] == 2]
   pid  tag     count
1   1   45  2
2   1   62  2
4   2   45  2
7   3   62  2

解决方案 #3：

如果您想删除行，可以使用.index.tolist()，然后使用drop()。

data['count'] = data.groupby(['tag']).transform('count')
data.drop(data[data['count'] != 2].index.tolist())
   pid  tag     count
1   1   45  2
2   1   62  2
4   2   45  2
7   3   62  2

解决方案 #4：

data['count'] = data.groupby(['tag']).transform('count')
g = data.groupby('count')
data.loc[g.groups[2],('tag','pid')]
   tag  pid
1   45  1
2   62  1
4   45  2
7   62  3