NLTK 感知器标注器的标签集是什么？答案

【问题标题】：What is the tagset for NLTK perceptron tagger?NLTK 感知器标注器的标签集是什么？
【发布时间】：2016-11-29 09:45:18
【问题描述】：

NLTK 感知器标注器的标签集是什么？以及用于预训练模型的语料是什么？

我已经尝试从 NLTK 网站上找到官方信息。但他们没有。

【问题讨论】：

标签： nltk

【解决方案1】：

来自https://github.com/nltk/nltk/pull/1143，我们看到它是来自https://spacy.io/blog/part-of-speech-pos-tagger-in-python的端口

经过训练的tagdict中的标签集包含以下标签：

>>> from nltk.tag import PerceptronTagger
>>> tagger = PerceptronTagger()
>>> set(tagger.tagdict.values())
set(['PRP$', 'VBG', 'VBD', '``', 'VBN', "''", 'VBP', 'WDT', 'JJ', 'WP', 'VBZ', 'DT', '#', '$', 'NN', ')', '(', ',', '.', 'TO', 'PRP', 'RB', ':', 'NNS', 'NNP', 'VB', 'WRB', 'CC', 'CD', 'EX', 'IN', 'WP$', 'MD', 'JJS', 'JJR'])

完整的标签集是：

>>> sorted(tagger.classes)
['#', '$', "''", '(', ')', ',', '.', ':', 'CC', 'CD', 'DT', 'EX', 'FW', 'IN', 'JJ', 'JJR', 'JJS', 'LS', 'MD', 'NN', 'NNP', 'NNPS', 'NNS', 'PDT', 'POS', 'PRP', 'PRP$', 'RB', 'RBR', 'RBS', 'RP', 'SYM', 'TO', 'UH', 'VB', 'VBD', 'VBG', 'VBN', 'VBP', 'VBZ', 'WDT', 'WP', 'WP$', 'WRB', '``']

这是来自 https://www.ling.upenn.edu/courses/Fall_2003/ling001/penn_treebank_pos.html 的 Penn Treebank 标签集

【讨论】：