我正在寻找有关在大量文本中查找所有匹配项的有效算法的建议。要搜索的术语将包含在一个列表中，并且可以有 1000 多种可能性。搜索词可能是 1 个或多个词。
显然，我可以多次通过文本与每个搜索词进行比较。效率不高。
我考虑过对搜索词进行排序并组合常见的子细分。这样我就可以快速消除大量的术语。语言是 C++，我可以使用 boost。
搜索词的示例可以是财富 500 强公司名称的列表。
想法？
【问题讨论】：
标签： algorithm string search boost
您正在寻找的搜索词是单词还是完整的句子？
如果只是单词，那么我建议从所有单词中构建一个Red-Black Tree，然后在树中搜索每个单词。
如果它可以是句子，那么它可能会变得更复杂......（？）
【讨论】：
std::multimap 就足够了。
所以你有很多搜索词，想看看文档中是否有它们？
如果正则表达式引擎将查看/ant|ape/ 并正确短路“ape”中的 a如果它没有在“蚂蚁”中找到它。如果没有，您可以对正则表达式进行“预编译”并将结果“压缩”到它们的最小重叠。 IE。在上述情况下，/a(nt|pe)/ 等等，对每个字母递归。
但是，执行上述操作非常类似于将所有搜索字符串放入 26 叉树（26 个字符，如果还有数字则更多）。将字符串推到树上，每个字符长度使用一个深度级别。
如果您的搜索字词数量很大，您可以使用您的搜索字词来实现超快的“此字词是否与我的搜索字词列表中的任何内容匹配”。
理论上你也可以反过来——将你的文档打包到树中，然后在上面使用搜索词——如果你的文档是静态的并且搜索词变化很大。
取决于您需要多少优化...
【讨论】：
假设大量文本是静态英文文本并且您需要匹配整个单词，您可以尝试以下操作（您应该真正明确什么是“匹配”，您正在查看什么样的文本等问题）。
Trie/Dawg 具有以下属性：
给定一个 trie/dawg 和一个长度为 K 的搜索词，您可以在 O(K) 时间内查找与该词关联的数据（或判断是否不匹配）。
与 trie 相比，使用 DAWG 可以为您节省更多空间。尝试利用许多单词将具有共同前缀这一事实，而 DAWG 则利用共同前缀和共同后缀属性。
在 trie 中，还要准确地维护单词的位置列表。例如，如果文本是
That is that and so it is.
that 中最后一个 t 的节点将具有列表 {1,3}，is 中 s 的节点将具有关联的列表 {2,7}。
现在，当您获得一个单词搜索词时，您可以轻松地尝试并获得该词的匹配列表。
如果您得到一个多字搜索词，您可以执行以下操作。
使用搜索词中的第一个单词进行遍历。获取匹配列表并插入哈希表 H1。
现在用搜索词中的第二个词试一试。获取匹配列表。对于每个匹配位置 x，检查哈希表 H1 中是否存在 x-1。如果是这样，请将 x 添加到新的哈希表 H2。
使用第三个单词遍历 trie，获取匹配列表。对于每个匹配位置 y，检查 H3 中是否存在 y-1，如果存在则添加到新的哈希表 H3。
以此类推。
最后你会得到一个搜索短语的匹配列表，它给出了短语最后一个单词的位置。
您可以通过维护列表中位置的排序列表并进行二分搜索来优化短语匹配步骤：即例如。对于 H2 中的每个键 k，您在搜索词 3 的排序列表中对 k+1 进行二进制搜索，如果找到，则将 k+1 添加到 H3 等等。
【讨论】：
这个问题已被深入研究。奇怪的是，搜索 ONE 模式/字符串的最佳算法并不容易外推到多字符串匹配。
"grep" 系列以非常有效的方式实现了多字符串搜索。如果您可以将它们用作外部程序，那就去做吧。
如果你真的需要实现算法，我认为最快的方法是重现 agrep 所做的事情（agrep 擅长多字符串匹配！）。 Here 是源文件和可执行文件。
而here 你会发现一篇论文描述了所使用的算法、理论背景以及关于字符串匹配的大量信息和指针。
需要注意的是：多字符串匹配已经被 Knuth、Boyer、Moore、Baeza-Yates 等人进行了大量研究。如果您需要一个真正快速的算法，请不要犹豫站在他们宽阔的肩膀上。不要重新发明轮子。
【讨论】：
此问题的最佳解决方案是使用suffix tree（或suffix array）。它本质上是一个字符串的所有后缀的 trie。对于长度为O(N) 的文本，可以在O(N) 中构建。
那么所有k出现的长度为m的字符串都可以在O(m + k)中得到最佳回答。
后缀树也可用于有效地查找例如最长回文、最长公共子串、最长重复子串等
这是分析 DNA 字符串时使用的典型数据结构，其长度可能为数百万/数十亿个碱基。
【讨论】：
N的文本吗？
N 而不是O(N)，但是N 是O(N)，所以它仍然是正确的=)
与单一模式的情况一样，多模式匹配有多种算法，您必须找到最适合您目的的一种。论文A fast algorithm for multi-pattern searching (archived copy) 对其中的大多数进行了回顾，包括 Aho-Corasick（这是 Knuth-Morris-Pratt 算法的多模式版本，具有线性复杂度）和 Commentz-Walter（Boyer- Moore 和 Aho-Corasick），并介绍了一个新的，它使用 Boyer-Moore 的想法来完成匹配多个模式的任务。
那篇论文中没有提到的另一种基于散列的算法是Rabin-Karp algorithm，它比其他算法具有更大的最坏情况复杂度，但通过散列降低线性因子来补偿它。哪个更好最终取决于您的用例。如果您想选择最快的一个，您可能需要实现其中的几个并在您的应用程序中进行比较。
【讨论】：