检查列表中的所有元素是否唯一的最佳方法是什么（最好是传统方法）？
我目前使用Counter 的方法是：
>>> x = [1, 1, 1, 2, 3, 4, 5, 6, 2]
>>> counter = Counter(x)
>>> for values in counter.itervalues():
if values > 1:
# do something
我可以做得更好吗？
【问题讨论】：
标签： python algorithm list unique
不是最有效的，但直截了当：
if len(x) > len(set(x)):
pass # do something
可能不会对短名单产生太大影响。
【讨论】：
x 中的元素不是唯一的时，len(x) > len(set(x)) 为 True。这个问题的标题正好相反：“检查列表中的所有元素是否都是唯一的”
这是一个也可以提前退出的两条线：
>>> def allUnique(x):
... seen = set()
... return not any(i in seen or seen.add(i) for i in x)
...
>>> allUnique("ABCDEF")
True
>>> allUnique("ABACDEF")
False
如果 x 的元素不可散列，那么您将不得不使用seen 的列表：
>>> def allUnique(x):
... seen = list()
... return not any(i in seen or seen.append(i) for i in x)
...
>>> allUnique([list("ABC"), list("DEF")])
True
>>> allUnique([list("ABC"), list("DEF"), list("ABC")])
False
【讨论】：
一个提前退出的解决方案可能是
def unique_values(g):
s = set()
for x in g:
if x in s: return False
s.add(x)
return True
但是，对于小型案例，或者如果提前退出不是常见情况，那么我希望 len(x) != len(set(x)) 是最快的方法。
【讨论】：
s = set()之后添加以下行来缩短它...return not any(s.add(x) if x not in s else True for x in g)
len(x) != len(set(x)) 比这更快吗？两个操作不是 O(len(x)) 吗？ （其中x 是原始列表）
if x in s for 循环。
速度：
import numpy as np
x = [1, 1, 1, 2, 3, 4, 5, 6, 2]
np.unique(x).size == len(x)
【讨论】：
如何将所有条目添加到集合中并检查其长度？
len(set(x)) == len(x)
【讨论】：
len()。
替代set，您可以使用dict。
len({}.fromkeys(x)) == len(x)
【讨论】：
完全是另一种方法，使用 sorted 和 groupby：
from itertools import groupby
is_unique = lambda seq: all(sum(1 for _ in x[1])==1 for x in groupby(sorted(seq)))
它需要排序，但在第一个重复值时退出。
【讨论】：
groupby 发布相同的解决方案并找到了这个答案。我觉得这是最优雅的，因为这是一个单一的表达式，并且可以与内置工具一起使用，不需要任何额外的变量或循环语句。
id() 函数对其进行排序，因为这是groupby() 工作的先决条件：groupby(sorted(seq), key=id)
这是一个递归 O(N2) 版本的有趣：
def is_unique(lst):
if len(lst) > 1:
return is_unique(s[1:]) and (s[0] not in s[1:])
return True
【讨论】：
这是一个递归提前退出函数：
def distinct(L):
if len(L) == 2:
return L[0] != L[1]
H = L[0]
T = L[1:]
if (H in T):
return False
else:
return distinct(T)
这对我来说已经足够快了，而无需使用奇怪（慢）的转换，而 采用函数式方法。
【讨论】：
H in T 进行线性搜索，T = L[1:] 复制列表的切片部分，因此这将比在大列表中建议的其他解决方案慢得多。我认为是 O(N^2)，而其他大多数是 O(N)（集合）或 O(N log N)（基于排序的解决方案）。
这个怎么样
def is_unique(lst):
if not lst:
return True
else:
return Counter(lst).most_common(1)[0][1]==1
【讨论】：
以上所有答案都很好，但我更喜欢使用30 seconds of python中的all_unique示例
您需要在给定列表上使用set() 来删除重复项，将其长度与列表的长度进行比较。
def all_unique(lst):
return len(lst) == len(set(lst))
如果平面列表中的所有值都是unique，则返回True，否则返回False
x = [1,2,3,4,5,6]
y = [1,2,2,3,4,5]
all_unique(x) # True
all_unique(y) # False
【讨论】：
你可以使用 Yan 的语法 (len(x) > len(set(x)))，但不是 set(x)，而是定义一个函数：
def f5(seq, idfun=None):
# order preserving
if idfun is None:
def idfun(x): return x
seen = {}
result = []
for item in seq:
marker = idfun(item)
# in old Python versions:
# if seen.has_key(marker)
# but in new ones:
if marker in seen: continue
seen[marker] = 1
result.append(item)
return result
然后执行 len(x) > len(f5(x))。这会很快，而且还能保持订单。
【讨论】：
x = range(1000000) + range(1000000) 这样的大型列表，运行 set(x) 比 f5(x) 快。顺序不是问题中的要求，但即使运行 sorted(set(x)) 仍然比 f5(x) 快
在 Pandas 数据框中使用类似的方法来测试列的内容是否包含唯一值：
if tempDF['var1'].size == tempDF['var1'].unique().size:
print("Unique")
else:
print("Not unique")
对我来说，这在包含超过一百万行的日期帧中的 int 变量上是瞬时的。
【讨论】：
它不完全适合这个问题，但如果你用谷歌搜索我让你得到的这个问题排名第一的任务，用户可能会感兴趣，因为它是问题的扩展。如果您想调查每个列表元素是否唯一，您可以执行以下操作：
import timeit
import numpy as np
def get_unique(mylist):
# sort the list and keep the index
sort = sorted((e,i) for i,e in enumerate(mylist))
# check for each element if it is similar to the previous or next one
isunique = [[sort[0][1],sort[0][0]!=sort[1][0]]] + \
[[s[1], (s[0]!=sort[i-1][0])and(s[0]!=sort[i+1][0])]
for [i,s] in enumerate (sort) if (i>0) and (i<len(sort)-1) ] +\
[[sort[-1][1],sort[-1][0]!=sort[-2][0]]]
# sort indices and booleans and return only the boolean
return [a[1] for a in sorted(isunique)]
def get_unique_using_count(mylist):
return [mylist.count(item)==1 for item in mylist]
mylist = list(np.random.randint(0,10,10))
%timeit for x in range(10): get_unique(mylist)
%timeit for x in range(10): get_unique_using_count(mylist)
mylist = list(np.random.randint(0,1000,1000))
%timeit for x in range(10): get_unique(mylist)
%timeit for x in range(10): get_unique_using_count(mylist)
对于一些答案中建议的get_unique_using_count 的简短列表，速度很快。但是，如果您的列表已经超过 100 个元素，则 count 函数需要很长时间。因此，get_unique 函数中显示的方法虽然看起来更复杂，但速度要快得多。
【讨论】：
对于初学者：
def AllDifferent(s):
for i in range(len(s)):
for i2 in range(len(s)):
if i != i2:
if s[i] == s[i2]:
return False
return True
【讨论】：