使用 NLTK 快速删除命名实体

Question

我编写了几个用户定义的函数来从文本句子/段落列表中删除 Python 中的命名实体（使用 NLTK）。我遇到的问题是我的方法非常慢，尤其是对于大量数据。有没有人建议如何优化它以使其运行得更快？

import nltk
import string

# Function to reverse tokenization
def untokenize(tokens):
    return("".join([" "+i if not i.startswith("'") and i not in string.punctuation else i for i in tokens]).strip())

# Remove named entities
def ne_removal(text):
    tokens = nltk.word_tokenize(text)
    chunked = nltk.ne_chunk(nltk.pos_tag(tokens))
    tokens = [leaf[0] for leaf in chunked if type(leaf) != nltk.Tree]
    return(untokenize(tokens))

要使用代码，我通常有一个文本列表并通过列表理解调用ne_removal 函数。示例如下：

text_list = ["Bob Smith went to the store.", "Jane Doe is my friend."]
named_entities_removed = [ne_removal(text) for text in text_list]
print(named_entities_removed)
## OUT: ['went to the store.', 'is my friend.']

更新：我尝试使用此代码切换到批处理版本，但它只是稍微快一点。会继续探索。感谢您迄今为止的意见。

def extract_nonentities(tree):
    tokens = [leaf[0] for leaf in tree if type(leaf) != nltk.Tree]
    return(untokenize(tokens))

def fast_ne_removal(text_list):
    token_list = [nltk.word_tokenize(text) for text in text_list]
    tagged = nltk.pos_tag_sents(token_list)
    chunked = nltk.ne_chunk_sents(tagged)
    non_entities = []
    for tree in chunked:
        non_entities.append(extract_nonentities(tree))
    return(non_entities)

Answer 1

每次调用ne_chunk()，它都需要初始化一个chunker对象，并从磁盘加载用于分块的统计模型。 pos_tag() 同上。所以不要一次只用一个句子来调用它们，而是在完整的文本列表中调用它们的批处理版本：

all_data = [ nltk.word_tokenize(sent) for sent in list_of_all_sents ]
tagged = nltk.pos_tag_sents(all_data)
chunked = nltk.ne_chunk_sents(tagged)

这应该会给你一个相当大的加速。如果这对您的需求来说仍然太慢，请尝试分析您的代码并考虑是否需要切换到功能更强大的工具，如 @Lenz 建议的那样。