如何获取熊猫中重复行的列表？

Question

我有一个大数据框，在 358 个样本中有超过 10 万个变量（行）。

我想知道所有样本中哪些变量相同（重复）。

示例数据框如下：

         Sample1 Sample2 Sample3 Sample4 Sample5
1000084  0.0     0.0     0.0     0.0     0.0    
1000092  0.0     0.0     0.0     0.0     0.0
1000096  0.0     0.0     1.0     0.0     0.0
1000110  0.0     0.0     1.0     0.0     0.0
1000116  0.0     0.0     0.0     0.0     0.0

我需要的结果可能是这样的：或相同行列表的列表

 {1000084:[1000092, 1000116], 1000096:[1000110]}

我尝试了 pandas 的复制方法，但它只会留下唯一项目或唯一项目加上第一个或最后一个重复项。

我尝试使用此代码，但需要很长时间：

duplicated_index = set()
duplicates = {}

for i, pos in enumerate(df.index, 0):
    #check if the row has marked as duplicate, if so, ignore it
    if i in duplicated_index:
        continue
    for j in range(i+1, df.shape[0]):
        if all(df.iloc[i] == df.iloc[j]):
             duplicated_index.add(j)
             tmp = duplicates.setdefault(pos, [])
             duplicates[pos].append(df.iloc[j].name)

有没有更合适的方法来获取这个列表并识别哪些行与其他行相同？

Answer 1

按所有列分组；查找具有多个项目的组并将其放入列表中。使用 for 循环。

>>> gb = df.groupby(df.columns.to_list())
>>> d = {}
>>> for a,b in gb:
...     if len(b) > 1:
...         d[b.index[0]] = b.index[1:].to_list()

        
>>> d
{1000084: [1000092, 1000116], 1000096: [1000110]}
>>>

---

使用与上面相同的 groupby，编写一个函数来返回组的索引并使用 aggregate method 构造一个字典。

def f(thing):
    return thing.index.to_list()

>>> {key:val for key,*val in gb.aggregate(f) if val}
{1000084: [1000092, 1000116], 1000096: [1000110]}

---

看起来执行时间与列和行数（项目数）成线性关系。

---

这是一个用于测试的大型 DataFrame。不幸的是，它不想产生重复的行——也许这是 groupby 然后迭代的最坏情况？

import itertools,string
import numpy as np
nrows,ncols = 100000,300

a = np.random.randint(1,3,(nrows,ncols))
# or using the new random stuff
#from numpy.random import default_rng
#rng = default_rng()
#a = rng.integers(1,3,(nrows,ncols))

index = np.arange(1000000,1000000+nrows,dtype=np.int64)
cols = [''.join(thing) for thing in itertools.combinations(string.ascii_letters,3)]
df2 = pd.DataFrame(data=a,index=index,columns=cols[:ncols])

Answer 2

reset_index 然后groupby 添加agg

l = df.reset_index().groupby(list(df))['index'].agg(list).tolist()
Out[291]: [[1000084, 1000092, 1000116], [1000096, 1000110]]

Answer 3

pandas 有自己的函数duplicated()，它将返回所有重复的行。

duplicated_rows = df[df.duplicated(subset=['col1', 'col2', 'col3'], keep=False)]

根据documentation，

• subset 可以是您选择的需要检查重复的列的列表。默认情况下，它使用所有列。
• keep 设置为 False 以保留所有次出现。

如果您希望将结果作为列表列表，可能对您上面起草的代码稍作修改可能会解决您的问题。

Answer 4

使用pd.factorize 和Index.groupby 添加另一种方法

idx = pd.factorize(list(map(tuple,df.to_numpy().tolist())))[0]

d = {g[0]: [*g[1:]] for _,g in df.index.groupby(idx).items() if len(g)>1}

---

{1000084: [1000092, 1000116], 1000096: [1000110]}

或使用df.to_records()，但它可能比以前的方法慢：

idx = pd.factorize(df.to_records(index=False))[0]
d = {g[0]: [*g[1:]] for _,g in df.index.groupby(idx).items() if len(g)>1}