如何有效地从 set python 循环正则表达式搜索

Question

我正在评估一长串句子，看看它们是否包含州名并用字典映射它们，这就是我想出的代码——它非常慢。这应该如何正确完成？

       for sent in sentences: #set of sentences.upper()
            for state in stateset: #set of state abbrev's and names in .upper()
                boundst = re.compile(r'\b%s\b' % state, re.I)
                if re.search(boundst, sent):
                    sentstatedict[sent] = state
                    break

我不知道如何提前创建绑定版本 - 我可以创建一组并使用它吗？

为了清楚起见，我想为我拥有的每个句子找出该句子中包含的最多一个匹配的州名或缩写。我的困难在于不知道如何预先组装状态字符串的可用“绑定”版本列表以进行“整个单词”匹配。这导致我在内部循环中有re.compile。

Answer 1

您一遍又一遍地编译所有正则表达式（N 次！其中 N 是句子的数量）。 re.compile 不是一个快速的操作，所以这就是造成痛苦的原因。您可以初始化它们的字典，以便按状态查找它们：

re_lookup = {
    state: re.compile(r'\b%s\b' % state, re.I)
    for state in stateset
}

for sent in sentences:
    for state in stateset:
        if re.search(re_lookup[state], sent):
            sentstatedict[sent] = state
            break

Answer 2

我建议您构建一个匹配所有状态的单个正则表达式。然后，您可以对每个句子进行一次更复杂的正则表达式搜索，并从结果中提取匹配状态：

pattern = r"\b({})\b".format("|".join(stateset))
for sent in sentences:
    match = re.search(pattern, sent, re.I)
    if match:
        sentstatedict[sent] = match.group(1)

我不介意re.compile，因为所有采用字符串模式的正则表达式方法都会在内部缓存已编译的模式。所以使用相同的模式字符串搜索应该和自己调用compile然后使用编译模式的方法一样快。

Answer 3

因为您不想一遍又一遍地编译正则表达式（n^2 次而不是 n 次...）。更改 for 循环的顺序并在中间编译正则表达式会更有效：

for state in stateset:             
    boundst = re.compile(r'\b%s\b' % state, re.I) # compile the regex once (at most) per each state
        for sent in sentences: 
            if re.search(boundst, sent):
                sentstatedict[sent] = state
                break