使用 Python 打印属于文档中最常见单词的句子

Question

我有一个文本文档，我正在使用 regex 和 nltk 来查找该文档中最常见的 5 单词。我必须打印出这些单词所属的句子，我该怎么做？此外，我想将其扩展到在多个文档中查找常用词并返回它们各自的句子。

import nltk
import collections
from collections import Counter

import re
import string

frequency = {}
document_text = open('test.txt', 'r')
text_string = document_text.read().lower()
match_pattern = re.findall(r'\b[a-z]{3,15}\b', text_string) #return all the words with the number of characters in the range [3-15]

fdist = nltk.FreqDist(match_pattern) # creates a frequency distribution  from a list
most_common = fdist.max()    # returns a single element
top_five = fdist.most_common(5)# returns a list

list_5=[word for (word, freq) in fdist.most_common(5)]


print(top_five)
print(list_5)

输出：

[('you', 8), ('tuples', 8), ('the', 5), ('are', 5), ('pard', 5)]
['you', 'tuples', 'the', 'are', 'pard']

输出是最常出现的单词我必须打印这些单词所属的句子，我该怎么做？

Answer 1

虽然它不像您的代码那样考虑单词边界处的特殊字符，但以下是一个起点：

for sentence in text_string.split('.'):
    if list(set(list_5) & set(sentence.split(' '))):
        print sentence

我们首先遍历句子，假设每个句子都以 . 结尾，并且 . 字符在文本中没有其他位置。之后，如果其词集的intersection与你的list_5中的词集不为空，我们打印该句子。

Answer 2

如果您尚未安装 NLTK Data，则必须安装。

来自http://www.nltk.org/data.html：

运行 Python 解释器并输入命令：

> >>> import nltk
> >>> nltk.download()

应该会打开一个新窗口，显示 NLTK 下载器。点击 文件菜单并选择更改下载 目录。

然后从模型选项卡安装 punkt 模型。 一旦你有了它，你就可以标记所有句子并提取其中包含你的前 5 个单词的句子：

sent_tokenize_list = nltk.sent_tokenize(text_string)    
for sentence in sent_tokenize_list:
    for word in list_5:
        if word in sentence:
            print(sentence)