Python 子字符串搜索的对抗性输入

Question

子字符串搜索的 CPython 实现（例如通过in）由以下算法实现。

def find(s, p):
    # find first occurrence of p in s
    n = len(s)
    m = len(p)
    skip = delta1(p)[p[m-1]]
    i = 0
    while i <= n-m:
        if s[i+m-1] == p[m-1]: # (boyer-moore)
            # potential match
            if s[i:i+m-1] == p[:m-1]:
                return i
            if s[i+m] not in p:
                i = i + m + 1 # (sunday)
            else:
                i = i + skip # (horspool)
        else:
            # skip
            if s[i+m] not in p:
                i = i + m + 1 # (sunday)
            else:
                i = i + 1
    return -1 # not found

至少，根据 CPython 实现的作者 (?) 所写的this source（取自this older answer）。

同一来源提到了该算法的最坏情况复杂度为O(nm)，其中n 和m 是两个字符串的长度。我对这个界限是否紧密感兴趣。我的问题是：

是否有 Python in 中使用的算法的对抗性示例？我们能否给出一个字符串对序列(pattern, string)，以便运行pattern in string 需要二次（或至少是超线性）时间？

演示朴素子字符串搜索的二次最坏情况运行时的标准示例，其中string = 'a'*n 和pattern = 'a'*m + b does not work。

Answer 1

s='a'*n 和p='a'*m+'b' 的幼稚例子因为行不行

if s[i+m-1] == p[m-1]:

这将检查p ('b') 的最后一个字符（不是第一个字符）与s 中对应的当前位置。由于这失败了，那么结果就是对s 进行一次迭代，这就是它如此之快的原因。

如果你翻转p（s='a'*n和p='b'+'a'*m），那么会发生类似的事情——这次上面的行通过了（p的最后一个字符现在是'a'），但是然后@987654333 @ 向前迭代，所以'b' 很快被找到，所以这个例子又是线性的和快速的。

将显示O(nm) 行为的简单示例更改为s='a'*n 和p='a'*m+'ba'。在这种情况下，p 的最后一个字符是'a'，因此初始检查通过，但是它需要遍历p 的其余部分才能到达'b'。

# full='a'*n; sub='a'*m+'b'
>>> timeit("sub in full", "sub='a'*10+'b'; full='a'*100")
0.13620498299860628
>>> timeit("sub in full", "sub='a'*10+'b'; full='a'*1000")
0.9594046580004942
>>> timeit("sub in full", "sub='a'*100+'b'; full='a'*1000")
0.9768632190007338
# Linear in n, but m has minimal effect: ~O(n)

# full='a'*n; sub='a'*m+'ba'
>>> timeit("sub in full", "sub='a'*10+'ba'; full='a'*100")
0.35251976200015633
>>> timeit("sub in full", "sub='a'*10+'ba'; full='a'*1000")
3.4642483099996753
>>> timeit("sub in full", "sub='a'*100+'ba'; full='a'*1000")
27.152958754999418
# Both n and m have linear effect: ~O(nm)

Answer 2

试试这个：

import re
import time

def slow_match(n):
    pat = 'a' + ('z' * n)
    str = 'z' * (n + n)
    start_time = time.time()
    if re.search(pat, str):
        print("Shouldn't happen")
    print(("Searched", n, time.time() - start_time))

slow_match(10000)
slow_match(50000)
slow_match(100000)
slow_match(300000)