我正在编写一个处理大量字符串/文件的 python 程序。我的问题是我将看到一段相当短的文本，我需要在其中搜索范围相当广泛的单词/短语的实例。
我想我需要编译正则表达式来匹配文本中的这些单词/短语。然而，我担心的是这会花费很多时间。
我的问题是重复编译正则表达式，然后搜索一小段文本以找到匹配项的过程有多快？使用一些字符串方法会更好吗？
编辑：所以，我想我的问题的一个例子是：用一个正则表达式编译和搜索与说，迭代'如果字符串中的“单词”'说，5 次，会有多昂贵？
【问题讨论】：
标签： python regex performance
您应该尝试使用| 运算符将所有正则表达式编译为一个。这样，正则表达式引擎将为您完成大部分优化。使用分组运算符() 来确定匹配的正则表达式。
【讨论】：
r'axxx|byyy' 将比单独检查 r'axxx' 和 r'byyy' 快得多，因为正则表达式引擎将为您执行“切换”（它将检查第一个字符然后忽略其中一种模式）。所以更复杂的正则表达式不一定意味着“更慢”。
如果速度至关重要，您最好在决定如何编写生产应用程序之前运行一些测试。
首先，您说您正在搜索表明您可以使用 split() 来分解空格上的字符串的单词。然后使用简单的字符串比较来进行搜索。
一定要编译您的正则表达式并进行时间测试，将其与纯字符串函数进行比较。查看字符串类的文档以获取完整列表。
【讨论】：
您的要求似乎是在文本中搜索第一次出现的字符串集合中的任何一个。大概您希望重新开始搜索以找到下一个匹配项，依此类推，直到搜索到的字符串用尽。只涉及普通的旧字符串比较。
此任务的经典算法是Aho-Corasick，其中有一个Python extension（用C 编写）。这应该可以击败任何使用 re 模块的替代方案。
【讨论】：
如果您想知道在编译正则表达式模式时它的速度如何，您需要对其进行基准测试。
这是我的做法。每个模式编译 100 万次。
import time,re
def taken(f):
def wrap(*arg):
t1,r,t2=time.time(),f(*arg),time.time()
print t2-t1,"s taken"
return r
return wrap
@taken
def regex_compile_test(x):
for i in range(1000000):
re.compile(x)
print "for",x,
#sample tests
regex_compile_test("a")
regex_compile_test("[a-z]")
regex_compile_test("[A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4}")
我的计算机中的每个模式大约需要 5 分钟。
for a 4.88999986649 s taken
for [a-z] 4.70300006866 s taken
for [A-Z0-9._%+-]+@[A-Z0-9.-]+\.[A-Z]{2,4} 4.78200006485 s taken
真正的瓶颈不在于编译模式，它在于提取像 re.findall 这样的文本，替换 re.sub。如果你对几个 MB 文本使用它，它会很慢。
如果您的文本是固定的，请使用普通的 str.find，它比正则表达式更快。
实际上，如果您提供文本示例和正则表达式模式示例，我们可以为您提供更好的想法，那里有很多很棒的正则表达式和 python 专家。
希望对您有所帮助，如果我的回答对您没有帮助，请见谅。
【讨论】：
timeit 模块。
timeit 模块的信息，我不知道。
当您编译正则表达式时，它会被转换为状态机表示。如果正则表达式被有效地表达，它仍然应该非常快地匹配。不过，编译正则表达式可能会很昂贵，因此您需要预先进行，并且尽可能不频繁地进行。但最终，只有您能回答是否足够快以满足您的要求。
还有其他字符串搜索方法，例如Boyer-Moore algorithm。但我敢打赌，搜索多个单独字符串的复杂性远高于可以关闭每个连续字符的正则表达式。
【讨论】：
这是一个只要尝试一下就可以很容易回答的问题。
>>> import re
>>> import timeit
>>> find = ['foo', 'bar', 'baz']
>>> pattern = re.compile("|".join(find))
>>> with open('c:\\temp\\words.txt', 'r') as f:
words = f.readlines()
>>> len(words)
235882
>>> timeit.timeit('r = filter(lambda w: any(s for s in find if w.find(s) >= 0), words)', 'from __main__ import find, words', number=30)
18.404569854548527
>>> timeit.timeit('r = filter(lambda w: any(s for s in find if s in w), words)', 'from __main__ import find, words', number=30)
10.953313759150944
>>> timeit.timeit('r = filter(lambda w: pattern.search(w), words)', 'from __main__ import pattern, words', number=30)
6.8793022576891758
看起来您可以合理地期望正则表达式比使用find 或in 更快。但如果我是你，我会用一个更像你的真实数据的案例重复这个测试。
【讨论】：
如果您只是搜索特定的子字符串，请改用 str.find()。
【讨论】：
根据您的操作，最好使用标记器并遍历标记以查找匹配项。
但是，当涉及到短文本正则表达式时，它的性能非常好。就我个人而言，我记得只有当文本大小变得像 100k 字或类似的东西时才会出现问题。
此外，如果您担心实际正则表达式编译而不是匹配的速度，您可能会受益于创建一个编译所有正则表达式然后在一个大循环中遍历所有文本片段或作为服务运行的守护进程。这样，您只需编译一次正则表达式。
【讨论】：
"foo|bar|baz|zot|tox" 这样的正则表达式很可能导致文本被搜索 5 次，而不是在其上运行一次自动机。
一般情况下，您可以使用“in”关键字
for line in open("file"):
if "word" in line:
print line.rstrip()
使用 Python 时通常不需要正则表达式 :)
【讨论】：