检查两个字符串是否在 Python 中包含相同的单词集

Question

我正在尝试比较两个句子，看看它们是否包含相同的单词集。
例如：比较“今天是个好日子”和“今天是个好日子”应该返回 true
我现在正在使用集合模块中的计数器功能

from collections import Counter


vocab = {}
for line in file_ob:
    flag = 0
    for sentence in vocab:
        if Counter(sentence.split(" ")) == Counter(line.split(" ")):
            vocab[sentence]+=1
            flag = 1
            break
        if flag==0:
            vocab[line]=1

它似乎可以正常运行几行，但我的文本文件有超过 1000 行，而且它永远不会完成执行。有没有其他更有效的方法可以帮助我计算整个文件的结果？

编辑：

我只需要一个 Counter 方法的替代品，来替代它。并且在实施中没有任何变化。

Answer 1

你真的不需要使用两个循环。

正确使用字典的方法

假设你有一个dict：

my_dict = {'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5, 'f': 5, 'g': 6}

你的代码基本上相当于：

for (key, value) in my_dict.items():
    if key == 'c':
        print(value)
        break
#=> 3

但dict（和set，Counter，...）的全部意义在于能够直接获得所需的值：

my_dict['c']
#=> 3

如果您的 dict 有 1000 个值，则第一个示例平均比第二个示例慢 500 倍。这是我在Reddit 上找到的一个简单描述：

字典就像一个神奇的外套检查室。你把外套递过去 得到一张票。每当你把那张票还给你时，你会立即得到 你的大衣。你可以有很多外套，但你仍然可以得到你的外套 马上回来。大衣里面有很多魔法 检查房间，但你并不在乎，只要你得到你的外套 马上回来。

重构代码

你只需要在"Today is a good day!"和"Is today a good day?"之间找到一个共同的签名。一种方法是提取单词，将它们转换为小写，对它们进行排序并连接它们。重要的是输出应该是不可变的（例如tuple、string、frozenset）。这样，它可以直接在集合、计数器或字典中使用，而无需遍历每个键。

from collections import Counter

sentences = ["Today is a good day", 'a b c', 'a a b c', 'c b a', "Is today a good day"]

vocab = Counter()
for sentence in sentences:
    sorted_words = ' '.join(sorted(sentence.lower().split(" ")))
    vocab[sorted_words] += 1

vocab
#=> # Counter({'a day good is today': 2, 'a b c': 2, 'a a b c': 1})

甚至更短：

from collections import Counter

sentences = ["Today is a good day", 'a b c', 'a a b c', 'c b a', "Is today a good day"]

def sorted_words(sentence):
    return ' '.join(sorted(sentence.lower().split(" ")))

vocab = Counter(sorted_words(sentence) for sentence in sentences)
# Counter({'a day good is today': 2, 'a b c': 2, 'a a b c': 1})

这段代码应该比你之前尝试过的要快得多。

另一种选择

如果要将原始句子保留在列表中，可以使用setdefault：

sentences = ["Today is a good day", 'a b c', 'a a b c', 'c b a', "Is today a good day"]

def sorted_words(sentence):
    return ' '.join(sorted(sentence.lower().split(" ")))

vocab = {}
for sentence in sentences:
    vocab.setdefault(sorted_words(sentence), []).append(sentence)

vocab

#=> {'a day good is today': ['Today is a good day', 'Is today a good day'],
# 'a b c': ['a b c', 'c b a'],
# 'a a b c': ['a a b c']}

Answer 2

尝试类似

set(sentence.split(" ")) == set(line.split(" "))

比较 set 对象比比较 counter 更快。 set 和 counter 对象基本上都是 set，但是当您使用 counter 对象进行比较时，它必须同时比较键和值，而 set 只需要比较键。
感谢 Eric 和 Barmar 的投入。

您的完整代码如下所示

from collections import Counter
vocab = {a dictionary of around 1000 sentences as keys}
for line in file_ob:
    for sentence in vocab:
        if set(sentence.split(" ")) == set(line.split(" ")):
            vocab[sentence]+=1

Answer 3

在您的代码中，您可以在内部循环之外提取 Counter 构造，而不是为每一对重新计算每个构造 - 这应该通过与每个字符串的平均令牌数成比例的因子来改进算法。

from collections import Counter
vocab = {a dictionary of around 1000 sentences as keys}

vocab_counter = {k: Counter(k.split(" ")) for k in vocab.keys() }

for line in file_obj:
    line_counter = Counter(line.split(" "))
    for sentence in vocab:
        if vocab_counter[sentence] == line_counter:
            vocab[sentence]+=1

可以通过将计数器用作字典的索引来进行进一步的改进，这样您就可以将匹配句子的线性搜索替换为查找。 frozendict 包可能很有用，因此您可以将字典用作另一个字典的键。

Answer 4

要考虑重复/多个单词，您的相等比较可能是：

def hash_sentence(s):                                                                                                                                                                                                                                         
    return hash(''.join(sorted(s.split())))                                                                                                                                                                                                                   

a = 'today is a good day'                                                                                                                                                                                                                                     
b = 'is today a good day'                                                                                                                                                                                                                                     
c = 'today is a good day is a good day'                                                                                                                                                                                                                       

hash_sentence(a) == hash_sentence(b)  # True
hash_sentence(a) == hash_sentence(c)  # False

另外，请注意，在您的实现中，每个句子都被计算 n 次 (for sentence in vocab:)。