Gensim Phrase 模型参数（阈值）

Question

有人可以向我解释一下参数阈值在 Gensim 的 Phrase 模型中的作用吗？以及在训练包含大量数据的数据集时如何选择它？ 我搜索了许多教程，但仍然没有明确的想法 谢谢

Answer 1

作为寻找有趣词对的一种相当粗略的统计方法，最佳参数的选择只是一个更适合您的目的的问题。

尝试比默认值更小和更大的值，并根据您的真实最终目标的一些可重复的质量评估来测试生成的短语。选择得分最高的值。

请注意，由于此方法完全忽略了语法等内容，因此创建的短语将无法可靠地匹配人类对逻辑词组的理解。在任何一组经过调整的参数中，它都会创建一些不需要的短语，并遗漏您认为有用的其他短语。

因此，它的标记化文本输出通常不适合向最终用户显示，尽管它对于其他分析步骤（如分类器或文档相似度计算）可能是有用的输入。