如何从字典列表中删除重复的短语？ [复制]

Question

我有以下方法，它接受一个字典列表并返回一个新列表，其中仅包含具有唯一 phrases 的字典

@staticmethod
def remove_duplicate_phrases(words: List[Dict[str, Any]]):
    unique_phrases, unique_words = set(), []
    for word in words:
        if word['phrase'] not in unique_phrases:
            unique_phrases.add(word['phrase'])
            unique_words.append(word)
    return unique_words

有什么方法可以加快速度吗？

Answer 1

这是我通常选择的最干净的方式：

>>> list_ = [
    {"phrase": 1},
    {"phrase": 1},
    {"phrase": 2},
    {"phrase": None}
]

>>> list(set([dict_['phrase'] for dict_ in words]))
[1, 2, None]

以上是如何清理字典列表的示例，尽管性能不会大幅提高；解决方案也取决于您传递的字数。

set() 在您需要无序独特的元素集合的情况下非常有用。

在这个答案和你的答案中运行解决方案，比较大约。 2000 个元素和 3 次导致此答案中的解决方案稍快。

# solution in answer
0.001382553018629551

# your solution
0.002490615996066481