【发布时间】:2013-11-06 02:42:38
【问题描述】:
我一直在尝试使用 Gensim 进行 LDA 主题建模。我似乎在 Gensim 中找不到任何主题模型评估工具,它可以报告主题模型在保留的评估文本上的困惑,从而有助于后续微调 LDA 参数(例如主题数量)。如果有人能阐明我如何在 Gensim 中执行主题模型评估,将不胜感激。这个问题也已经发布在metaoptimize。
【问题讨论】:
我一直在尝试使用 Gensim 进行 LDA 主题建模。我似乎在 Gensim 中找不到任何主题模型评估工具,它可以报告主题模型在保留的评估文本上的困惑,从而有助于后续微调 LDA 参数(例如主题数量)。如果有人能阐明我如何在 Gensim 中执行主题模型评估,将不胜感激。这个问题也已经发布在metaoptimize。
【问题讨论】:
在gensim mailing list 上找到answer。
简而言之,LdaModel 的 bound() 方法基于保留的语料库计算困惑度的下限。
【讨论】:
model.log_perplexity(heldout),这是一个方便的包装器。