自定义标记器 NLTK 3

Question

我正在使用 nltk 的默认标记器来获取单词的 POS 标记，但我没有得到预期的结果：

>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want a watch"))
[('I', 'PRP'), ('want', 'VBP'), ('a', 'DT'), ('watch', 'NN')]
>>> nltk.pos_tag(nltk.tokenize.word_tokenize("Lets watch a movie"))
[('Lets', 'NNS'), ('watch', 'VBP'), ('a', 'DT'), ('movie', 'NN')]

正如您在上面看到的，pos_tag 函数正确地标记了单词watch。但在以下情况下：

>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want to read a book"))
[('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('read', 'VB'), ('a', 'DT'), ('book', 'NN')]

>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want to book a ticket"))
[('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('book', 'NN'), ('a', 'DT'), ('ticket', 'NN')]

它错误地预测了单词book 的标签。 我知道我们可以构建一个自定义标注器，但我不希望仅仅为了一个词从头开始构建一个标注器。我希望提高单词book 的标注器的准确性。我提到了这个answer，但是最新版本好像没有nltk.tag._POS_TAGGER这个方法。

是否有任何可能的解决方法？

Answer 1

NLTK pos_tag 默认使用PerceptronTagger。但是您可以使用已在各自数据集上训练的其他标记器。

在以下情况下，使用了treebank pos tagger：

import nltk

tagger = nltk.data.load('taggers/maxent_treebank_pos_tagger/english.pickle')
t = tagger.tag(nltk.tokenize.word_tokenize("I want to book a ticket"))
print(t)
# [('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('book', 'VB'), ('a', 'DT'), ('ticket', 'NN')]
#                                                         ^^ rightly tagged as verb

如果您仍然没有得到想要的结果，您可以更改标记器。

人们还可以评估语料库上的标注器，以了解预期的准确度：

>>> corpus = nltk.corpus.treebank.tagged_sents()
>>> tagger.evaluate(corpus)
0.9956891414041082