模糊搜索算法（近似字符串匹配算法）

Question

我希望创建一个模糊搜索算法。 然而，经过数小时的研究，我真的很挣扎。

我想创建一个算法，对学校名称列表执行模糊搜索。

这是我目前看到的：

我的大部分研究都指向 Google 和 Stackoverflow 上的“字符串指标”，例如：

• Levenshtein 距离
• Damerau-Levenshtein 距离
• Needleman-Wunsch 算法

但是，这只是给出了 相似 2 个字符串的分数。我能想到将其实现为搜索算法的唯一方法是执行线性搜索并为每个字符串执行字符串度量算法并返回分数高于某个阈值的字符串。 （最初我将字符串存储在 trie 树中，但这显然对我没有帮助！）

虽然这对于小型列表来说不是一个坏主意，但对于具有 100,000 个名称并且用户执行了许多查询的列表来说，这将是一个问题。

我研究的另一种算法是拼写检查方法，您只需搜索所有可能的拼写错误。然而，这也是非常低效的，因为它需要超过 75,000 个字，长度为 7 的字和错误计数仅为 2。

我需要什么？

谁能给我推荐一个高效的模糊搜索算法。与：

• 算法名称
• 工作原理或工作原理链接
• 优缺点以及最佳使用时间（可选）

我了解所有算法都有其优缺点，没有最佳算法。

Answer 1

考虑到您正在尝试对学校名称列表进行模糊搜索，我认为您不想使用传统的字符串相似性，例如 Levenshtein 距离。我的假设是您正在接受用户的输入（键盘输入或通过电话说话），并且您希望快速找到匹配的学校。

距离指标会根据替换、删除和插入告诉您两个字符串的相似程度。但是这些算法并没有真正告诉您字符串在人类语言中的相似程度作为单词。

以“smith”、“smythe”和“smote”为例。我可以分两步从“smythe”到“smith”：

smythe -> smithe -> smith

从“smote”到“smith”分两步：

smote -> smite -> smith

所以两者的距离和strings一样，但是作为words，它们却有很大的不同。如果有人告诉你（口语）他正在寻找“Symthe College”，你几乎肯定会说，“哦，我想你是说 Smith。”但如果有人说“斯莫特学院”，你就不会知道他在说什么。

您需要的是phonetic algorithm，例如Soundex 或Metaphone。基本上，这些算法将一个单词分解为音素，并创建一个表示该单词在口语中的发音方式。然后，您可以将结果与已知的单词列表进行比较以找到匹配项。

这样的系统会比使用距离度量快得多。考虑使用距离度量，您需要将用户的输入与列表中的每个单词进行比较以获得距离。这在计算上是昂贵的，而且正如我用“smith”和“smote”演示的那样，结果可能很糟糕。

使用语音算法，您可以创建每个已知单词的音素表示并将其放入字典（哈希映射或可能的 trie）中。这是一次性的启动成本。然后，每当用户输入搜索词时，您就创建他输入的音素表示并在您的字典中查找它。这样会快很多并且产生更好的结果。

还要考虑到，当人们拼错专有名称时，他们几乎总是能正确地拼出第一个字母，而且往往发音错误的 听起来像他们试图拼写的实际单词。如果是这样，那么语音算法肯定是要走的路。

Answer 2

我写了一篇关于我如何实现模糊搜索的文章：

https://medium.com/@Srekel/implementing-a-fuzzy-search-algorithm-for-the-debuginator-cacc349e6c55

实现在 Github 中并且在公共领域，所以请随意看看。

https://github.com/Srekel/the-debuginator/blob/master/the_debuginator.h#L1856

它的基本原理是：将您要搜索的所有字符串分成几部分。所以如果你有路径，那么“C:\documents\lol.txt”可能是“C”、“documents”、“lol”、“txt”。

确保将这些字符串小写以确保不区分大小写。 （也许只有在搜索字符串全小写时才这样做）。

然后将您的搜索字符串与此匹配。就我而言，无论顺序如何，我都想匹配它，所以即使“lol”出现在“doc”之后，“loldoc”仍然会匹配上述路径。

匹配需要有一些得分才能很好。我认为最重要的部分是连续匹配，所以一个接一个地匹配的字符越多越好。所以“doc”比“dcm”好。

那么您可能希望在部分开始的比赛中获得额外分数。因此，“doc”比“ocu”获得的分数更高。

在我的例子中，我还为匹配部件的 end 给出了更多的分数。

最后，您可能需要考虑为匹配最后部分加分。这使得匹配文件名/结尾的分数高于指向它的文件夹。

Answer 3

您将模糊搜索算法与实现混淆了：一个单词的模糊搜索可能会返回所有具有 Levenshtein 距离为 2 的单词的 400 个结果。但是，对于用户，您必须只显示前 5 个-10.

在实现方面，您将预处理字典中的所有单词并将结果保存到数据库中。流行词（以及它们的模糊词）将被保存到缓存层中 - 因此您不必为每个请求都访问数据库。

您可以添加一个 AI 层，该层将添加最常见的拼写错误并将它们添加到数据库中。等等。

Answer 4

“一种模糊搜索”的简单算法

说实话，在某些情况下，模糊搜索几乎没有用，我认为更简单的算法可以改善搜索结果，同时提供我们仍在执行模糊搜索的感觉。

这是我的用例：使用“模糊搜索”过滤国家/地区列表。

我正在使用的列表有两个以 Z 开头的国家：赞比亚和津巴布韦。

我使用的是Fusejs。

在这种情况下，当输入针“zam”时，结果集有 19 个匹配项，并且与列表底部的任何人类（赞比亚）最相关的匹配项。结果中的大多数其他国家的名字甚至都没有字母 z。

这是一个移动应用程序，您可以在其中从列表中选择一个国家/地区。这应该很像您必须从手机的联系人中选择联系人时。您可以通过在搜索框中输入一些词来过滤联系人列表。

恕我直言，这种有限的搜索内容不应该被人们问“这到底是什么？！？”。

有人可能会建议按最相关的匹配进行排序。但在这种情况下这是不可能的，因为用户将始终必须在缩减列表中直观地找到“感兴趣的项目”。请记住，这应该是一个过滤工具，而不是“à la Google”搜索引擎。所以结果应该以可预测的方式排序。在过滤之前，排序是按字母顺序排列的。所以过滤后的列表应该只是原始列表的按字母顺序排序的子集。

所以我想出了以下算法...

1. 抓住针……在这种情况下：zam
2. 在针的开头和结尾插入.* 图案
3. 在针的每个字母之间插入.* 图案
4. 使用现在为.*z.*a.*m.* 的新指针在大海捞针中执行正则表达式搜索

在这种情况下，用户将通过查找以某种方式以某种方式出现字母 z、a 和 m 的所有内容来获得预期的结果。针中的所有字母将以相同的顺序出现在比赛中。

这也将匹配国家名称，如 Mozambique ... 这是完美的。

我只是觉得有时候，我们不应该试图用火箭筒杀死一只苍蝇。

Answer 5

谁能给我推荐一个高效的模糊搜索算法。与：

在这个存储库中，我收集了一个简单（但快速）的算法来执行模糊搜索，就像在 Sublime Text、VSCode 等编辑器中完成的那样（即，只需几次击键，您就可以得到过滤的条目结果以模糊的方式匹配键入的字符）：

• https://github.com/tajmone/fuzzy-search

该算法是由 Forrest Smith 编写的，简称为“fts_fuzzy_match”。在存储库中，您会发现以 10 多种不同语言实现的同一算法的两种变体。

原始文章可以在这里找到：

• Reverse Engineering Sublime Text’s Fuzzy Match

Answer 6

Fuzzy Sort 是一个 JavaScript 库，有助于从大量数据中执行字符串匹配。

以下代码将有助于在 react.js 中使用模糊排序。

通过npm安装模糊排序，

npm install fuzzysort

react.js 中的完整演示代码

import React from 'react';
import './App.css';
import data from './testdata';
const fuzzysort = require('fuzzysort');

class App extends React.Component {
  constructor(props){
    super(props)
    this.state = {
      keyword: '',
      results: [],
    }
    console.log("data: ", data["steam_games"]);
  }

  search(keyword, category) {  
    return fuzzysort.go(keyword, data[category]);
  }

  render(){
    return (
      <div className="App">
        <input type="text" onChange={(e)=> this.setState({keyword: e.target.value})}
          value={this.state.keyword}
        />
        <button onClick={()=>this.setState({results: this.search(this.state.keyword, "steam_games")})}>Search</button>
        {this.state.results !== null && this.state.results.length > 0 ?
          <h3>Results:</h3> : null
        }
        <ul>
        {this.state.results.map((item, index) =>{
            return(
              <li key={index}>{item.score} : {item.target}</li>
            )
          })
        }
        </ul>
      </div>
    );
  }
}

export default App;

更多信息请参考FuzzySort

Answer 7

问题可以分为两部分：

1) 选择正确的字符串指标。

2) 提出相同的快速实施方案。

选择正确的指标：这部分很大程度上取决于您的用例。但是，我建议结合使用基于距离的分数和基于语音的编码以获得更高的准确性，即最初根据 Levenshtein 距离计算分数，然后使用 Metaphone 或 Double Metaphone 来补充结果。

同样，您应该根据您的用例做出决定。如果您可以只使用 Metaphone 或 Double Metaphone 算法，那么您不必担心计算成本。

实施：限制计算成本的一种方法是根据您的用例将您的数据分成几个小组，然后将它们加载到字典中。

例如，如果您可以假设您的用户正确输入了姓名的第一个字母，您可以将基于此不变量的姓名存储在字典中。

因此，如果用户输入名称“National School”，您只需计算以字母“N”开头的学校名称的模糊匹配分数