使用对数似然比较不同的槌主题模型？

Question

我正在尝试找出是否可以 - 或者最好的方法是 - 以编程方式比较使用 ma​​llet 创建的不同主题模型，以确定给定语料库的“最佳”拟合模型。

API 提供了一种方法来确定生成模型的对数似然。见 f.e. : #modelLogLikelihood()

Afaik 可以根据保留数据的对数可能性来比较不同的模型。但是这种方法计算了..整个模型的可能性，我猜？我已经检查了source code，但这并没有给黑暗带来光明。

所以我的问题是： 上述方法的输出是否适合比较不同的主题建模算法，如 Hierarchical PAM、LDA、DMR ......以找出哪个模型（理论上）代表语料库的最佳方式？

Answer 1

对数似然计算的目的是提供一个在不同模型之间具有可比性的指标。也就是说，我不建议以这种方式使用它。

首先，如果您真的关心语言模型的预测可能性，您应该使用许多最近的深度神经模型之一。

其次，可能性对平滑参数非常敏感，因此您获得一致差异这一事实可能只是您自己设置的产物。诸如标记化和多词术语之类的预处理决策也可能比模型的选择产生更大的影响。

第三，如果你真的对主题模型输出感兴趣，你应该清楚你想从模型中得到什么，以及模型的哪些特征使它对你的特定需求有用。我喜欢建议人们认为主题模型更像是制作地图而不是拟合回归。地图的最佳分辨率取决于您想去的地方。

最后，几乎可以肯定，使用最简单的模型会更好。