针对预定义种子列表进行字符串测试的最快 C++ 算法（不区分大小写）

Question

我有种子字符串列表，大约 100 个预定义字符串。所有字符串都只包含 ASCII 字符。

std::list<std::wstring> seeds{ L"google", L"yahoo", L"stackoverflow"};

我的应用不断收到大量可以包含任何字符的字符串。我需要检查每条收到的线并确定它是否包含任何种子。比较必须不区分大小写。

我需要最快的算法来测试收到的字符串。

现在我的应用使用这个算法：

std::wstring testedStr;
for (auto & seed : seeds)
{
    if (boost::icontains(testedStr, seed))
    {
        return true;
    }
}
return false;

效果很好，但我不确定这是不是最有效的方法。

如何实现算法以获得更好的性能？

这是一个 Windows 应用程序。应用接收到有效的std::wstring 字符串。

---

更新

对于这个任务，我实现了 Aho-Corasick 算法。如果有人可以查看我的代码，那就太好了——我对此类算法没有丰富的经验。实现链接：gist.github.com

Answer 1

作为 DarioOO 答案的变体，您可以通过为字符串编码 lex parser 来获得可能更快的正则表达式匹配实现。虽然通常与yacc 一起使用，但在这种情况下，lex 自己完成了这项工作，而 lex 解析器通常非常高效。

如果所有字符串都很长，这种方法可能会失败，因为 Aho-Corasick、Commentz-Walter 或 Rabin-Karp 等算法可能会提供显着改进，我怀疑 lex 实现是否使用任何此类算法。

如果您必须能够在不重新配置的情况下配置字符串，这种方法会更难，但由于 flex 是开源的，您可以蚕食它的代码。

Answer 2

如果匹配字符串的数量有限，这意味着您可以构造一棵树，这样，从根到叶读取，相似的字符串将占据相似的分支。

这也称为trie, or Radix Tree。

例如，我们可能有字符串cat, coach, con, conch 和dark, dad, dank, do。他们的尝试可能如下所示：

搜索树中的一个词将从根开始搜索树。使其成为叶子将对应于与种子的匹配。无论如何，字符串中的每个字符都应该与它们的一个孩子匹配。如果没有，您可以终止搜索（例如，您不会考虑任何以“g”开头的单词或任何以“cu”开头的单词）。

有多种算法可用于构建树以及搜索它以及动态修改它，但我想我会给出解决方案的概念概述而不是具体的概述，因为我不知道最好的算法。

从概念上讲，您可以用来搜索树的算法与 基数排序 背后的思想有关，即字符串中的字符在给定条件下可能具有的固定数量的类别或值时间点。

这让您可以对照您的word-list 检查一个字。由于您正在寻找此单词列表作为输入字符串的子字符串，因此它的功能远不止于此。

编辑：正如其他答案所提到的，用于字符串匹配的 Aho-Corasick 算法是一种用于执行字符串匹配的复杂算法，由一个带有附加链接的特里树组成，用于通过树获取“快捷方式”并有不同的搜索模式来伴随这一点。 （有趣的是，Alfred Aho 还是流行的编译器教科书编译器：原理、技术和工具以及算法教科书计算机的设计与分析算法。他也是贝尔实验室的前成员。Margaret J. Corasick 似乎没有太多关于她自己的公开信息。）

Answer 3

编辑：正如 Matthieu M. 指出的那样，OP 询问字符串是否包含关键字。我的答案仅在字符串等于关键字或您可以拆分字符串时才有效，例如由空格字符。

特别是有大量可能的候选者并在编译时使用perfect hash function 和 gperf 之类的工具了解它们值得一试。主要原则是，你用你的种子播种一个生成器，它会生成一个包含哈希函数的函数，该函数对所有种子值都没有冲突。在运行时，你给函数一个字符串，它会计算哈希值，然后检查它是否是与哈希值对应的唯一可能的候选者。

运行时成本是对字符串进行哈希处理，然后与唯一可能的候选对象（种子大小为 O(1)，字符串长度为 O(1)）进行比较。

要使比较不区分大小写，您只需在种子和字符串上使用 tolower。

Answer 4

因为字符串的数量不大（~100），你可以使用下一个算法：

1. 计算您拥有的单词的最大长度。让它成为 N。
2. 创建int checks[N]; 校验和数组。
3. 我们的校验和将是搜索短语中所有字符的总和。因此，您可以为列表中的每个单词计算此类校验和（在编译时已知），并创建std::map<int, std::vector<std::wstring>>，其中int 是字符串的校验和，向量应包含具有该校验和的所有字符串。 为每个长度（最多 N）创建此类映射的数组，也可以在编译时完成。
4. 现在通过指针移动大字符串。当指针指向 X 字符时，您应该将 X 字符的值添加到所有 checks 整数中，并且对于它们中的每一个（从 1 到 N 的数字）删除 (XK) 字符的值，其中 K 是 @987654325 中的整数数@ 大批。因此，对于存储在 checks 数组中的所有长度，您将始终拥有正确的校验和。 在地图上搜索之后，是否存在具有这种对（长度和校验和）的字符串，如果存在 - 比较它。

它应该给出假阳性结果（当校验和和长度相等，但短语不相等时）非常罕见。

所以，假设 R 是大字符串的长度。然后循环它需要 O(R)。 每一步你都会用“+”小数（char值）执行N次操作，用“-”小数（char值）执行N次操作，非常快。每一步你都必须在checks数组中搜索计数器，也就是O(1)，因为它是一个内存块。

此外，每一步你都必须在 map 的数组中找到 map，这也是 O(1)，因为它也是一个内存块。 在 map 中，您必须搜索具有正确校验和 log(F) 的字符串，其中 F 是 map 的大小，它通常包含不超过 2-3 个字符串，所以我们通常可以假装它也是 O (1).

您还可以检查，如果没有具有相同校验和的字符串（只有 100 个单词的可能性很大），您可以完全丢弃 map，存储对而不是 map。

所以，最后应该给出 O(R)，并且 O 非常小。 这种计算checksum 的方式可以更改，但它非常简单且完全快速，极少出现假阳性反应。

Answer 5

您应该尝试使用预先存在的正则表达式实用程序，它可能比您的手动算法慢，但正则表达式是关于匹配多种可能性，因此它可能已经比哈希图或简单的比较快几倍所有字符串。我相信 regex 实现可能已经使用了 RiaD 提到的 Aho–Corasick 算法，所以基本上你将拥有一个经过良好测试且快速的实现。

如果你有 C++11，你已经有一个标准的正则表达式库

#include <string>
#include <regex>

int main(){
     std::regex self_regex("google|yahoo|stackoverflow");
     regex_match(input_string ,self_regex);
}

我希望这会生成尽可能好的最小匹配树，所以我希望它非常快（并且可靠！）

Answer 6

您可以使用Aho–Corasick algorithm

它构建了特里/自动机，其中一些顶点标记为终端，这意味着字符串有种子。

它内置于O(sum of dictionary word lengths) 并在O(test string length) 中给出答案

优点：

• 它特别适用于几个字典单词，检查时间不取决于单词的数量（如果我们不考虑它不适合记忆的情况等）
• 算法不难实现（至少与后缀结构相比）

如果是 ASCII，您可以通过降低每个符号来使其不区分大小写（非 ASCII 字符无论如何都不匹配）

Answer 7

一种更快的方法是使用后缀树https://en.wikipedia.org/wiki/Suffix_tree，但是这种方法有很大的缺点——数据结构困难，构造困难。该算法允许从线性复杂度的字符串构建树https://en.m.wikipedia.org/wiki/Ukkonen%27s_algorithm