如何识别电影或传记等文档类别

Question

我目前正在执行一项任务，将一些文档分类为一些预定义的类集。为此，我依赖多项朴素贝叶斯，它适用于大多数类别，如棒球、运动或太空。

但是，我如何找到某个人的电影或传记等类别的文章？ MNB 主要使用词袋术语方法。这就是为什么很容易检测棒球文章的原因，因为它们会包含很多棒球术语。然而，电影或传记文章包含非常少的行话。电影文档仅使用特定于该电影的词来描述或评论电影。所以一篇关于 A Few Good Men 的文章可能包含很多法律术语，这可能会导致无意中将其标记为“法律”。传记也一样，只是描述一个人的一生。

如何对这类文档进行分类？

Answer 1

一个好的解决方案是使用命名实体识别和半监督方法。例如，您在句子中标记了演员的名字（使用实体提取半监督方法，检查this），并获取特定实体的计数（例如：在一个句子中重复的演员（我们的实体）的计数越多，这句话与电影有关）。然后将其添加到一个特征中，因此它可能对分类器具有代表性和重要性，尝试从您的数据集中找到这些特征并将这些特征提供给您的分类器

您可以使用Chi2 或ANOVA F Value 等度量来检查任何添加功能的有效性和影响