高效最常见的后缀算法？

Question

我有几 GB 的字符串，对于每个前缀，我想找到 10 个最常见的后缀。有没有一种有效的算法？

一个明显的解决方案是：

• 存储<string, count> 对的排序列表。
• 通过二进制搜索范围识别我们正在搜索的前缀。
• 在此范围内找到 10 个最高的 counts。
• 可能为所有短前缀预先计算它，因此它不需要查看大部分数据。

我不确定这是否真的有效。有没有更好的方法被我忽略了？

答案必须是实时的，但可以根据需要进行尽可能多的预处理。

Answer 1

将单词放在树中，例如trie 或 radix，为每个完整单词放置一个“出现次数”计数器，以便您知道哪些节点是结尾以及它们的常见程度。

通过迭代查找前缀/后缀组合。

这两个操作都是 O(n*k)，其中 k 是最长单词的长度；这是 same complexity 作为哈希表。

HAT-trie 是一个具有缓存意识的版本，可以保证高性能。