在 NLTK 中使用自定义标签训练标注器

Question

我有一个带有Hi here's my [KEYWORD phone number], let me know when you wanna hangout: [PHONE 7802708523]. I live in a [PROP_TYPE condo] in [CITY New York] 格式标记数据的文档。我想根据一组这些类型的标记文档训练一个模型，然后使用我的模型来标记新文档。这在 NLTK 中可能吗？我查看了chunking 和NLTK-Trainer 脚本，但它们的标签和语料库是有限的，而我的数据集有自定义标签。

Answer 1

您要解决的问题通常称为Named Entity Recognition (NER)。有许多算法可以帮助您解决问题，但最重要的概念是您需要将文本数据转换为适合序列标注器的格式。以下是 BIO 格式的示例：

I     O
love  O
Paris B-LOC
and   O
New   B-LOC
York  I-LOC
.     O

从那里，您可以选择训练任何类型的分类器，例如朴素贝叶斯、SVM、MaxEnt、CRF 等。目前此类多令牌序列分类任务最流行的算法是CRF。有一些可用的工具可以让您使用上述格式（例如YamCha、CRF++、CRFSuite、Wapiti）从文件中训练 BIO 模型（尽管最初用于分块）。如果您使用 Python，除了 NLTK 之外，您还可以查看 scikit-learn、python-crfsuite 和 PyStruct。

Answer 2

正如@AleksandarSavkov 已经写的那样，这本质上是一个命名实体识别 (NER) 任务——或者更普遍地说是一个分块任务，正如您已经意识到的那样。 NLTK 书的chapter 7 很好地介绍了如何做到这一点。我建议您忽略有关正则表达式标记的部分并使用第 3 部分中的方法，Developing and evaluating chunkers。它包括代码示例，您可以逐字使用来创建分块器（ConsecutiveNPChunkTagger）。您的责任是选择能给您带来良好性能的功能。

您需要将数据转换为 NLTK 架构所期望的 IOB 格式；它需要词性标记，因此第一步应该是通过 POS 标记器运行您的输入； nltk.pos_tag() 将做得足够好（一旦你像 [KEYWORD ...] 这样剥离标记），并且不需要安装额外的软件。当您的语料库采用以下格式时（word -- POS-tag -- IOB-tag），您就可以训练识别器了：

Hi NNP O
here RB O
's POS O
my PRP$ O
phone NN B-KEYWORD
number NN I-KEYWORD
, , O
let VB O
me PRP O
...