检查列表中的任何子字符串是否在另一个字符串列表中的最有效方法

Question

我有两个列表，一个是单词，另一个是字符组合。仅返回与列表中任何内容都不匹配的组合的最快方法是什么？

我已尝试使其尽可能精简，但是当它使用 3 个字符进行组合时仍然很慢（4 个字符最多需要 290 秒，甚至不会尝试 5 个）

这是一些示例代码，目前我正在将所有单词转换为一个列表，然后在字符串中搜索每个列表值。

#Sample of stuff
allCombinations = ["a","aa","ab","ac","ad"]
allWords = ["testing", "accurate" ]

#Do the calculations
allWordsJoined = ",".join( allWords )
invalidCombinations = set( i for i in allCombinations if i not in allWordsJoined )

print invalidCombinations
#Result: set(['aa', 'ab', 'ad'])

我只是好奇是否有更好的方法来使用集合来做到这一点？用 3 个字母的组合，有 18278 个要搜索的列表项，对于 4 个字母，最多可以搜索到 475254 个，所以目前我的方法还不够快，尤其是当单词列表字符串大约 100 万个字符时。

Set.intersection 如果您需要整个字符串，这似乎是一个非常有用的方法，所以肯定有类似的东西来搜索子字符串。

Answer 1

首先想到的是，您可以通过检查当前组合与已经“无效”的组合来优化查找。 IE。如果 ab 无效，那么 ab.? 也将无效，没有必要检查。

还有一件事：尝试使用

for i in allCombinations:
    if i not in allWordsJoined:
        invalidCombinations.add(i)

而不是

invalidCombinations = set(i for i in allCombinations if i not in allWordsJoined)

我不确定，但较少的内存分配对于实际数据运行来说可能是一个小小的提升。

Answer 2

查看一个集合是否包含一个项目是 O(1)。您仍然需要遍历您的组合列表（有一些例外。如果您的单词没有“a”，则不会有任何其他包含“a”的组合。您可以使用一些类似树的数据结构this) 与您的原始单词集进行比较。

您不应该将您的单词表转换为字符串，而应该将其转换为集合。你应该得到 O(N) 其中 N 是你的组合的长度。

另外，我喜欢 Python，但它不是最快的语言。如果这是您需要做的唯一任务，并且它需要非常快，并且您无法改进算法，那么您可能需要查看其他语言。您应该能够非常轻松地制作原型，以了解不同语言的速度差异。