Scikit-learn 的 LDA 实现中的“困惑度”（或“分数”）应该上升还是下降？

【问题标题】：Should the "perplexity" (or "score") go up or down in the LDA implementation of Scikit-learn?Scikit-learn 的 LDA 实现中的“困惑度”（或“分数”）应该上升还是下降？
【发布时间】：2019-01-15 00:42:44
【问题描述】：

我想知道困惑度和分数在 Scikit-learn 的 LDA 实现中意味着什么。这些功能很模糊。

至少，当模型更好时，我需要知道这些值是增加还是减少。我已经搜索过，但不知何故不清楚。我觉得困惑应该下降，但我想明确回答这些值应该如何上升或下降。

【问题讨论】：

标签： python scikit-learn statistics lda log-likelihood

【解决方案1】：

困惑度是衡量模型对样本的预测能力的指标。

根据 Blei、Ng 和 Jordan 的 Latent Dirichlet Allocation，

[W]e 计算了用于评估模型的保留测试集的困惑度。按照惯例在语言建模中使用的困惑度在测试数据的可能性中单调递减，并且在代数上等效于每个单词的几何平均可能性的倒数。较低的困惑度分数表示更好的泛化性能。

这可以从论文中的下图看出：

本质上，由于 perplexity 等价于几何平均值的倒数，较低 perplexity 意味着数据的可能性更多。因此，随着主题数量的增加，模型的perplexity应该会降低。

【讨论】：