来自字符串候选列表的模糊匹配

Question

我有一个公司名称列表，我正试图从大量 PDF 文档中解析这些名称。

我已经通过 Apache Tika 强制 PDF 提取原始文本，我已经读取了 200 家公司的列表。

我一直在尝试使用 FuzzyWuzzy 和 Spacy 的某种组合来提取所需的匹配项。

据我所知：

import spacy
from fuzzywuzzy import fuzz, process

nlp = spacy.load("en_core_web_sm")
doc = nlp(strings[1])

companies = []
candidates = []

for ent in doc.ents:
  if ent.label_ == "ORG":
    candidates.append(ent.text)

process.extractBests(company_name, candidates, score_cutoff=80)

我想做的是：

1. 通读文档字符串
2. 解析任何模糊的公司名称 匹配得分 80+
3. 返回包含在 文件及其分数。

救命！

Answer 1

这是我填充candidates 的方式——mpg 是 Pandas DataFrame：

for s in mpg['name'].values: 
    doc = nlp(s) 
    for ent in doc.ents: 
        if ent.label_ == 'ORG': 
            candidates.append(ent.text) 

然后假设我们有一个简短的汽车数据列表来测试：

candidates = ['buick'
             ,'buick skylark'
             ,'buick estate wagon'
             ,'buick century']

下面的方法使用fuzz.token_sort_ratio，它被描述为“返回0到100之间序列相似性的度量，但在比较之前对标记进行排序。”试试这里部分记录的一些：https://github.com/seatgeek/fuzzywuzzy/issues/137

results = {} # dictionary to store results 
companies = ['buick'] # you'll have more companies
for company in companies:
    results[company] = process.extractBests(company,candidates,
                                            scorer=fuzz.token_sort_ratio,
                                            score_cutoff=50)

结果是：

In [53]: results                                                                
Out[53]: {'buick': [('buick', 100), 
                    ('buick skylark', 56), 
                    ('buick century', 56)]}

在这种情况下，使用 80 作为截止分数会比 50 更好。