我有一个应该是唯一的字符串列表。我希望能够快速检查重复项。具体来说，我希望能够获取原始列表并生成一个包含任何重复项的新列表。我不在乎这些项目重复了多少次，所以如果有两个重复项，它就不必有两个单词。
不幸的是，我想不出一种不笨重的方法来做到这一点。有什么建议吗？
编辑： 感谢您的回答，我想我会澄清一下。我不关心为了它自己而拥有一个独特的列表。我正在根据文本文件生成列表，我想知道重复项是什么，以便我可以进入文本文件并在出现时删除它们。
【问题讨论】：
标签： python
这段代码应该可以工作：
duplicates = set()
found = set()
for item in source:
if item in found:
duplicates.add(item)
else:
found.add(item)
【讨论】：
来自itertools 的groupby 可能在这里有用：
from itertools import groupby
duplicated=[k for (k,g) in groupby(sorted(l)) if len(list(g)) > 1]
基本上你用它来查找多次出现的元素...
注意。需要调用sorted，因为groupby 只有在输入排序后才能正常工作。
【讨论】：
这将在一行中创建列表：
L = [1, 2, 3, 3, 4, 4, 4]
L_dup = set([i for i in L if L.count(i) > 1])
【讨论】：
绝对不是最快的方法，但它似乎可以解决问题：
>>> lst = [23, 32, 23, None]
>>> set(i for i in lst if lst.count(i) > 1)
{23}
【讨论】：
这是一个简单的 1-liner：
>>> l = ['a', 'a', 3, 'r', 'r', 's', 's', 2, 3, 't', 'y', 'a', 'w', 'r']
>>> [v for i, v in enumerate(l) if l[i:].count(v) > 1 and l[:i].count(v) == 0]
['a', 3, 'r', 's']
enumerate 返回一个索引列表，我们用它来拼接我们的输入列表，确定循环中当前索引之前是否有任何重复项以及我们是否已经在后面找到了重复项。
【讨论】：
j 作为索引；使用v 作为值）。稍微不那么可怕：[v for i, v in enumerate(L) if v not in L[i+1:] and v not in L[:i]]
如果你不关心重复的顺序：
a = [1, 2, 3, 4, 5, 4, 6, 4, 7, 8, 8]
b = sorted(a)
duplicates = set([x for x, y in zip(b[:-1], b[1:]) if x == y])
【讨论】：
就个人而言，我认为这是实现 O(n) 性能的最简单方法。类似于 vartec 的解决方案，但不需要 import，也无需担心 Python 版本依赖：
def getDuplicates(iterable):
d = {}
for i in iterable:
d[i] = d.get(i, 0) + 1
return [i for i in d if d[i] > 1]
【讨论】：
基于 'set' 的解决方案有一个小缺点，即它们仅适用于可散列对象。
另一方面，基于 itertools.groupby 的解决方案适用于所有可比较的对象（例如：字典和列表）。
【讨论】：
编辑：好的，因为你只想要重复，所以不起作用。
你已经设置好了，做吧：
my_filtered_list = list(set(mylist))
Set 是一种本质上没有重复的数据结构。
my_filtered_list = list(dict.fromkeys(mylist).keys())
字典将唯一键映射到值。我们使用“唯一”特征来消除重复。
【讨论】：