如何创建分类标记语料库阅读器

Question

我在同一个文件夹中的cats.txt 中列出了一堆文件和类别。我想为此创建一个CategorizedTaggedCorpusReader。

这就是我的文件的样子。

在 nltk 中尝试了多种方法，但未能创建 Categorizedtaggedcorpusreader。在我的cats.txt 中，我有文件名和类别名称，其中空格分开，每个文件名可以有多个类别。

例如：

mail_1_adapter adapter 
mail_1_alert alert 
messagebody_24862499 others
etc.

你能告诉我一个更好的方法来创建我的语料库并利用它吗？

Answer 1

您的文件格式很好。您究竟是如何尝试创建您的阅读器但没有成功？你不显示你的代码，所以不知道你做错了什么。您需要告诉您的读者它应该从文件cats.txt 中读取类别，例如像这样：

 from nltk.corpus.reader import CategorizedTaggedCorpusReader
 reader = CategorizedTaggedCorpusReader(<path>, r"^[^.]*$", cat_file="cats.txt")

您的类别文件cats.txt 不是语料库的一部分，所以我使用了正则表达式^[^.]*$，它匹配所有不包含点的内容。如果这不能正确描述您的文件，请根据需要更改定义以包含所有语料库文件，但排除 cats.txt。