如何在 Apache Mahout 中进行在线分类？

Question

我有一个大数据集，用于使用 Apache Mahout 训练一个简单的分类器。我使用分类器对一堆文档进行分类（这就像我的测试集）。我对文档的分类方式如下：

我找到了测试文档的标准化 tf-idf 向量。为了找到 idf，我只考虑测试文件，而不是培训。

但是在对测试文档进行分类后，我会收到更多要分类的文档，我需要先计算新文档的 tf-idf。一种解决方案是重新计算所有测试文档（旧文档和新文档）的 tf-idf，然后将它们全部重新分类。在这种情况下，每次收到新文档时，我都需要重新计算 tf-idf。我的问题是是否有更好的解决方案来进行这种在线分类？

Answer 1

接收新文档时有多种方法。你的方法似乎不切实际。我建议两种方法只为新文档计算 tf-idf 然后直接分类：

1. 使用所有文档（新文档和所有以前看到的文档）计算 idf
2. 使用已经在测试集上计算的idf

在测试集上尝试方法 2 和 3，同时将测试集分成两部分，并验证哪种方法更适合您的文档类型。