用于文本分类的一个巨大或多个小型模型

Question

我正在对标记为数千个类别/子类别的大型文本数据库（数百万个文本）进行分类（非常类似于亚马逊产品数据集）。

我的问题是，如果我可以通过创建多个模型（例如

• 一个模型获取主类（一个主模型）

• 为每个主要类别分离模型以获得最终的子类别。 （许多类别模型）

  相比

• 一个涵盖所有文本和所有子类别的巨大模型。

我想知道在主要类别及其子类别的文本中使用的词汇是否更容易（并且规模更小）并且更精确地学习模型？但是如果主模型预测了错误的主类别，就会出现一个额外的问题——那么对正确子类别的搜索将没有机会预测正确的结果。

有这方面的研究吗？ 有什么经验法则吗？ 非常感谢！

Answer 1

不了解研究，但可以建议首先对主要模型使用精度和召回矩阵（使用多种建模技术），如果所有类别的任何模型都给出高于阈值的精度和召回值，那么可以说 99.5%你必须按照你的想法去做。如果您未能实现这一点，请不要担心尝试另一种方法。这是关于尝试和观察的。让我知道其他任何事情。谢谢。