【问题标题】:Topic models evaluation in GensimGensim 中的主题模型评估
【发布时间】:2013-11-06 02:42:38
【问题描述】:

我一直在尝试使用 Gensim 进行 LDA 主题建模。我似乎在 Gensim 中找不到任何主题模型评估工具,它可以报告主题模型在保留的评估文本上的困惑,从而有助于后续微调 LDA 参数(例如主题数量)。如果有人能阐明我如何在 Gensim 中执行主题模型评估,将不胜感激。这个问题也已经发布在metaoptimize

【问题讨论】:

    标签: lda gensim


    【解决方案1】:

    gensim mailing list 上找到answer

    简而言之,LdaModel 的 bound() 方法基于保留的语料库计算困惑度的下限。

    【讨论】:

    • 从 gensim 0.8.9 开始,您还可以使用model.log_perplexity(heldout),这是一个方便的包装器。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多