匹配包含熊猫数据框中名称的dfs

Question

我有 2 个包含名称列表的数据集。 1 个数据集还具有其他名称没有的额外名称，而另一个具有重复名称。我的目标是创建一个列出所有差异并排除匹配项的第三个数据框

考虑这些数据框：

df =
 Full name
dan  lastname1
dan  lastname1
bill lastname2
bob  lastname3
brad lastname4

df2=
Full name
daniel  lastname1
william lastname2
robert  lastname3
bradley lastname4
Jane    lastname5


d3 =
Full name             match       
daniel  lastname1     dan lastname1   
william lastname2     bill lastname2
robert  lastname3     bob  lastname3
bradley lastname4     brad lastname4
Jane    lastname5     NaN

我尝试合并数据框并删除重复项，但没有运气。我认为多余的名字和昵称会让人失望。

Answer 1

使用fuzzywuzzy 包来完成您的任务：

from fuzzywuzzy import process

THRESHOLD = 80

best_match = df2['Full name'].apply(lambda x: process.extractOne(x, df1['Full name'],
                                                                 score_cutoff=THRESHOLD))

df2['match'] = best_match.apply(pd.Series)[0]

输出：

>>> df2
            Full name            match
0    daniel lastname1    dan lastname1
1  william lastname 2  bill lastname 2
2    robert lastname3    bob lastname3
3  bradley lastname 4  brad lastname 4
4     Jane lastname 5              NaN

>>> best_match
0      (dan lastname1, 90, 0)
1    (bill lastname 2, 85, 2)
2      (bob lastname3, 83, 3)
3    (brad lastname 4, 91, 4)
4                        None
Name: Full name, dtype: object

如何安装

pip install fuzzywuzzy python-levenshtein
conda install -c conda-forge fuzzywuzzy python-levenshtein

python-levenshtein 包不是强制性的，但它在字符串匹配方面提供了 4-10 倍的加速。