有效地从列表列表中删除重复的、与顺序无关的

Question

以下列表有一些重复的子列表，其中元素的顺序不同：

l1 = [
    ['The', 'quick', 'brown', 'fox'],
    ['hi', 'there'],
    ['jumps', 'over', 'the', 'lazy', 'dog'],
    ['there', 'hi'],
    ['jumps', 'dog', 'over','lazy', 'the'],
]

如何删除重复项，保留看到的第一个实例，以获取：

l1 = [
    ['The', 'quick', 'brown', 'fox'],
    ['hi', 'there'],
    ['jumps', 'over', 'the', 'lazy', 'dog'],
]

我尝试过：

[list(i) for i in set(map(tuple, l1))]

尽管如此，我不知道这是否是处理大型列表的最快方法，而且我的尝试没有按预期工作。知道如何有效地删除它们吗？

Answer 1

这个有点棘手。您想从冻结的计数器中键入一个字典，但计数器在 Python 中是不可散列的。对于渐近复杂度的小幅下降，您可以使用排序元组代替冻结计数器：

seen = set()
result = []
for x in l1:
    key = tuple(sorted(x))
    if key not in seen:
        result.append(x)
        seen.add(key)

单行中的相同想法如下所示：

[*{tuple(sorted(k)): k for k in reversed(l1)}.values()][::-1]

Answer 2

我做了一个快速基准测试，比较了各种答案：

l1 = [['The', 'quick', 'brown', 'fox'], ['hi', 'there'], ['jumps', 'over', 'the', 'lazy', 'dog'], ['there', 'hi'], ['jumps', 'dog', 'over','lazy', 'the']]

from collections import Counter

def method1():
    """manually construct set, keyed on sorted tuple"""
    seen = set()
    result = []
    for x in l1:
        key = tuple(sorted(x))
        if key not in seen:
            result.append(x)
            seen.add(key)
    return result

def method2():
    """frozenset-of-Counter"""
    return list({frozenset(Counter(lst).items()): lst for lst in reversed(l1)}.values())

def method3():
    """wim"""
    return [*{tuple(sorted(k)): k for k in reversed(l1)}.values()][::-1]

from timeit import timeit

print(timeit(lambda: method1(), number=1000))
print(timeit(lambda: method2(), number=1000))
print(timeit(lambda: method3(), number=1000))

打印：

0.0025010189856402576
0.016385524009820074
0.0026451340527273715

Answer 3

这个：

l1 = [['The', 'quick', 'brown', 'fox'], ['hi', 'there'], ['jumps', 'over', 'the', 'lazy', 'dog'], ['there', 'hi'], ['jumps', 'dog', 'over','lazy', 'the']]
s = {tuple(item) for item in map(sorted, l1)}
l2 = [list(item) for item in s]

l2 给出删除了反向重复的列表。 比较：Pythonic way of removing reversed duplicates in list

Answer 4

@wim 的回答效率低下，因为它将列表项排序为唯一标识一组列表项计数的方法，每个子列表的时间复杂度为 O(n log n)。

要在线性时间复杂度上达到相同的效果，您可以使用 collections.Counter 类的冻结项计数。由于dict理解保留了具有重复键的项目的最后一个值，并且由于您希望在问题中保留具有重复键的项目的第一个值，因此您必须以列表的相反顺序构造dict，并在之后再次反转它去重子列表的列表已经构建：

from collections import Counter
list({frozenset(Counter(lst).items()): lst for lst in reversed(l1)}.values())[::-1]

这会返回：

[['The', 'quick', 'brown', 'fox'], ['hi', 'there'], ['jumps', 'over', 'the', 'lazy', 'dog']]