MALLET 中的主题分配

Question

我的问题涉及 MALLET 中的主题分配以及它影响结果解释的方式。

doc-topics-file 说明了每个主题在文件中所占的比例。但是，在列表顶部（58%）我遇到了一个文件，它没有使用根据主题键文件构成主题 X 的单词之一。为了找到这个现象的答案，我检查了 output-state-file 并了解到很多词已经分配给了 Topic X，而这些词没有出现在 topic-keys-list 中。

为什么mallet 不只根据topics-keys-file 中出现的单词（作为对topic 最重要的）来计算doc-topics-file 中某个topic 的比例？

Answer 1

主题键输出仅用作模型的人类可读摘要。主题实际上是整个词汇表上的概率分布，尽管对于大多数单词来说，任何给定主题的概率仅与平滑参数成正比。为每个主题打印最多 100-200 个热门词可以更好地了解该主题所代表的内容，但选择的热门词的默认数量是为了适合每个终端行一个主题。