如何使用 Mallet 评估 LDA 的最佳 K？

Question

我正在使用 Mallet api 从 twitter 数据中提取主题，我已经 提取的主题似乎很好。但我面临问题 估计K。

例如，我将 K 值从 10 固定为 100。 因此，我从数据中提取了不同数量的主题。 但是，现在我想估计哪个 K 是最好的。 有一些我知道的算法

1. 困惑
2. 经验可能性
3. 边际似然（调和平均法）
4. 剪影

我发现了一个方法 model.estimate() 可以用来估计不同的 K 值。 但我没有任何想法表明 K 的值最适合模型。 有没有人通过一些示例代码给出一些想法？谢谢。

Answer 1

我认为最好的算法是人类判断。创建具有不同主题数量的主题模型并查看它们并选择您喜欢的内容。有时您想微调主题的数量（例如，您不希望将某个主题分成两个，或者您希望某个主题存在而不合并到另一个主题中）。