字符串相似度算法？

Question

我需要比较 2 个字符串并计算它们的相似度，以筛选出最相似的字符串列表。

例如。搜索“狗”会返回

1. 狗
2. 狗狗
3. 沼泽
4. 雾
5. 有雾

例如。搜索“crack”会返回

1. 破解
2. 俏皮话
3. 机架
4. 杰克
5. 嘎嘎

我遇到过：

• QuickSilver
• LiquidMetal

你知道更多的字符串相似度算法吗？

Answer 1

class Program { 
    static int ComputeLevenshteinDistance(string source, string target) {
        if ((source == null) || (target == null)) return 0;
        if ((source.Length == 0) || (target.Length == 0)) return 0;
        if (source == target) return source.Length;

        int sourceWordCount = source.Length;
        int targetWordCount = target.Length;

        int[,] distance = new int[sourceWordCount + 1, targetWordCount + 1];

        // Step 2
        for (int i = 0; i <= sourceWordCount; distance[i, 0] = i++);
        for (int j = 0; j <= targetWordCount; distance[0, j] = j++);

        for (int i = 1; i <= sourceWordCount; i++) {
            for (int j = 1; j <= targetWordCount; j++) {
                // Step 3
                int cost = (target[j - 1] == source[i - 1]) ? 0 : 1;

                // Step 4
                distance[i, j] = Math.Min(Math.Min(distance[i - 1, j] + 1, distance[i, j - 1] + 1), distance[i - 1, j - 1] + cost);
            }
        }

        return distance[sourceWordCount, targetWordCount]; 
    }

    static void Main(string[] args){ 
       Console.WriteLine(ComputeLevenshteinDistance ("Stackoverflow","StuckOverflow"));
       Console.ReadKey();
    }
}

Answer 2

Levenshtein 距离是我推荐的算法。它计算将一个字符串更改为另一个字符串所必须执行的最小操作数。更改越少意味着字符串越相似...

Answer 3

看来您需要某种模糊匹配。这是一组相似性指标http://www.dcs.shef.ac.uk/~sam/stringmetrics.html 的java 实现。这里是对字符串指标http://www.cs.cmu.edu/~wcohen/postscript/ijcai-ws-2003.pdf 的更详细说明，这取决于您的实现必须有多模糊和多快。

Answer 4

如果重点是性能，我会实现一个基于trie 结构的算法
（可以很好地在文本中查找单词，或帮助纠正单词，但在您的情况下，您可以快速找到包含给定单词或除一个字母之外的所有单词的所有单词）。

请先看上面的维基百科链接。Tries是最快的单词排序方法（n个单词，搜索s，O(n) 创建树，O(1) 搜索 s （或者如果您愿意，如果 a 是平均长度，O(an) 用于 trie，O(s) 用于搜索))。

您的问题（相似词）的快速简便的实现（待优化）包括

• 用单词列表制作trie，将所有字母的前后索引（参见下面的示例）
• 要搜索 s，从 s[0] 迭代以在 trie 中查找单词，然后是 s[1] 等。 .
• 在 trie 中，如果找到的字母数为 len(s)-k，则显示单词，其中 k 是容差（缺少 1 个字母，2...）。
• 算法可以扩展到列表中的单词（见下文）

例如，用词car、vars。

构建 trie（大写字母表示一个词在这里结束，而另一个可能继续）。 > 是索引后（前进），< 是索引前（后退）。在另一个示例中，我们可能还必须指出起始字母，为清楚起见，此处未显示。
例如，C++ 中的< 和> 将是Mystruct *previous,*next，意思是从a > c < r，您可以直接从a 转到c，反之，也可以从a 转到R。

  1.  c < a < R
  2.  a > c < R
  3.    > v < r < S
  4.  R > a > c
  5.        > v < S
  6.  v < a < r < S
  7.  S > r > a > v

严格寻找 car，trie 让您可以从 1. 开始访问，然后您会找到 car（您还会发现以 car开头的所有内容>，还有里面有车的任何东西 - 它不在示例中 - 但是 vicar 例如可以从 c > i > v < a < R) 找到。

要在允许 1 个字母的错误/缺失容差的情况下进行搜索，请从 s 的每个字母进行迭代，并计算从 获得的连续字母的数量 - 或跳过 1 个字母>s 在树中。

寻找car，

• c：在树中搜索c < a 和c < r（s 中缺少字母）。要接受单词 w 中的错误字母，请尝试在每次迭代时跳到错误的字母以查看 ar 是否在后面，这是 O(w)。有两个字母，O(w²) 等...但是可以将另一个级别的索引添加到 trie 以考虑 jump 字母 - 使 trie复杂且贪婪的内存。
• a，然后是r：同上，但也向后搜索

这只是为了提供一个关于原理的想法——上面的例子可能有一些小故障（我明天再检查一下）。

Answer 5

你可以这样做：

Foreach string in haystack 做 偏移量 := -1; matchedCharacters := 0; Foreach char in needle 做 offset := PositionInString(string, char, offset+1); 如果 偏移量 = -1 那么 休息; 结束; matchedCharacters := matchedCharacters + 1; 结束; 如果 匹配字符 > 0 那么 //（部分）匹配找到 结束; 结束;

使用matchedCharacters，您可以确定匹配的“程度”。如果它等于needle的长度，那么needle中的所有字符也在string中。如果你还存储了第一个匹配字符的偏移量，你还可以通过从最后一个匹配字符的偏移量中减去第一个匹配字符的偏移量，按照匹配字符的“密度”对结果进行排序offset时间>;差异越小，匹配越密集。