基于内部列表元素的比较从列表列表中删除重复项

Question

我有大量列表，需要根据特定条件删除重复元素：

1. 唯一性由列表的第一个元素确定。
2. 重复项的删除是通过比较重复列表的第二个元素的值来确定的，即保留具有最低第二个元素的列表。

[[1, 4, 5], [1, 3, 4], [1, 2, 3]]

所有上述列表都被认为是重复的，因为它们的第一个元素是相等的。第三个列表需要保留，因为它的第二个元素是最小的。请注意，列表的实际列表有超过 400 万个元素，是双重排序的，需要保留顺序。

列表首先根据内部列表的第二个元素并以反向（降序）顺序排序，然后是基于第一个元素的正常（升序）顺序：

sorted(sorted(the_list, key=itemgetter(1), reverse=True), key=itemgetter(0))

实际排序中三个重复列表的示例：

[...
[33554432, 50331647, 1695008306],
[33554432, 34603007, 1904606324],
[33554432, 33554687, 2208089473],
...]

目标是为平分搜索准备列表。有人可以向我提供有关如何使用 Python 实现这一点的见解吗？

Answer 1

您可以使用 dict 对元素进行分组，始终将子列表与较小的第二个元素保持在一起：

l = [[1, 2, 3], [1, 3, 4], [1, 4, 5], [2, 4, 3], [2, 5, 6], [2, 1, 3]]
d = {}
for sub in l:
    k = sub[0]
    if k not in d or sub[1] < d[k][1]:
        d[k] = sub

你也可以传递两个键来排序，你不需要调用两次排序：

In [3]:  l = [[1,4,6,2],[2,2,4,6],[1,2,4,5]]
In [4]: sorted(l,key=lambda x: (-x[1],x[0]))
Out[4]: [[1, 4, 6, 2], [1, 2, 4, 5], [2, 2, 4, 6]]

如果您想按照保持字典中的顺序，则需要保留顺序。：

from collections import OrderedDict

l = [[1, 2, 3], [1, 3, 4], [1, 4, 5], [2, 4, 3], [2, 5, 6], [2, 1, 3]]
d = OrderedDict()
for sub in l:
    k = sub[0]
    if k not in d or sub[1] < d[k][1]:
        d[sub[0]] = sub

但不确定这是否适合您对数据进行排序，因此您将丢失任何顺序。

sortedcontainers.sorteddict：您可能会发现非常有用：

SortedDict 提供与 dict 相同的方法。此外，SortedDict 有效地按排序顺序维护其键。因此，keys 方法将按排序顺序返回键，popitem 方法将删除具有最高键的项目，等等。

一个可选的 key 参数定义了一个可调用的，就像 Python 的 sorted 函数的 key 参数一样，从每个 dict 键中提取一个比较键。如果未指定函数，则默认直接比较 dict 键。关键参数必须作为位置参数提供，并且必须位于所有其他参数之前。

from sortedcontainers import SortedDict

l = [[1, 2, 3], [1, 3, 4], [1, 4, 5], [2, 4, 3], [2, 5, 6], [2, 1, 3]]
d = SortedDict()
for sub in l:
    k = sub[0]
    if k not in d or sub[1] < d[k][1]:
        d[k] = sub


print(list(d.values()))

它有你想要的所有方法bisect、bisect_left 等等。

Answer 2

如果我理解正确，解决方案可能是这样的：

mylist = [[1, 2, 3], [1, 3, 4], [1, 4, 5], [7, 3, 6], [7, 1, 8]]

ordering = []
newdata = {}

for a, b, c in mylist:
    if a in newdata:
        if b < newdata[a][1]:
            newdata[a] = [a, b, c]
    else:
        newdata[a] = [a, b, c]
        ordering.append(a)

newlist = [newdata[v] for v in ordering]

所以在newlist 中，我们将收到[[1, 2, 3], [7, 1, 8]] 的精简列表。