我可以找到类似的条目并将它们组合在一起吗？

Question

我有一个包含这种格式的用户输入的文件：

• 用户正在搜索的书名，条目被搜索的次数

例子：

• 时间的皱纹，100
• 哈克贝利·费恩历险记，100
• 时间皱纹，20
• 彼得潘，100
• 及时收敛，5
• 哈克贝利·费恩，100
• 哈克贝利费恩历险记，150
• 时间皱纹，2

书名有变体：拼写错误、措辞不正确、顺序不正确或命名略有不同。因为它们，当列表按标题按 A->Z 排序时，标题不会全部组合在一起：

• 时间的皱纹，100
• 时间的皱纹，20
• 及时收敛，5
• 时间皱纹，2
• 彼得潘，100
• 哈克贝利费恩历险记，100
• 哈克贝利·费恩，100
• 哈克贝利费恩历险记，150

A Wrinkle in Time 标题分组在一起，Huckleberry Finn 标题在自己的组中，而每一行仍保留其原始各自的数字输入。

是否可以通过 Python 或 Ruby 基于模糊逻辑重新排序（可能使用 Levenshtein 距离，然后以这种方式分组）？如果是这样，什么是简单/直接的方法？ Group Similar Entries in Python 的问题与我的情况类似，只是我使用的是字母字符串而不是数字。

Answer 1

可以，我们使用FuzzyWuzzy 有一些很好的教程。基本上，如果我要这样做，我会使用递归函数来查找匹配项。

当我开始使用它时，我最初遇到了一些问题，所以我问了this question。

如果您有一组已知项目来匹配事物，那就很简单了，但我的问题解决了您最初不想限制输入集的情况。

要开始使用，请参阅this example。

Answer 2

如果你能得到一份已知的好标题列表，那会让你的生活更轻松：

import csv
from fuzzywuzzy import process
from itertools import groupby

good_titles = [
    "a wrinkle in time",
    "the adventures of huckleberry finn",
    "peter pan"
]
def best_title(title):
    return process.extractOne(title.lower(), choices=good_titles)[0]

def read_csv(fname, header=False, **kwargs):
    with open(fname, "rb") as inf:
        incsv = csv.reader(inf, **kwargs)
        if header:
            head = next(incsv, None)
        for row in incsv:
            yield row

def main():
    searches = read_csv("search_data.csv", header=True)
    searches = [(best_title(title), int(num), title) for title,num in searches]
    searches.sort(key=lambda x: (x[0], -x[1], x[2]))

    for key,items in groupby(searches, lambda s:s[0]):
        for bt, num, t in items:
            print("{:40} {:>5}".format(t, num))
        print('')

if __name__=="__main__":
    main()

生产

A Wrinkle in Time                          100
Wrinkle in Time                             20
rinkle in time                               5
Time wrinkle                                 2

Peter Pan                                  100

Adventures of Huckleberry Finn             150
Huckleberry Finn                           100
The Adventures of Huckleberry Finn         100