如何使用 word2vec 工具计算语言模型？答案

【问题标题】：How to compute a language model with word2vec tool?如何使用 word2vec 工具计算语言模型？
【发布时间】：2014-03-29 00:07:09
【问题描述】：

我正在尝试构建一个神经网络语言模型，而 Mikolov 等人的 word2vec 工具似乎是一个很好的工具。我试过了，但它只会产生单词表示。有人知道我如何通过该工具或任何其他合理的深度学习框架生成语言模型吗？

【问题讨论】：

【解决方案1】：

word2vec 是一种将单个单词（或一组单词）表示为数字向量的工具。所以它与语言模型没有直接关系。

要生成语言模型，您可以使用MITLM 来完成。例如，您可以通过以下命令使用语料库Lectures.txt 创建一个 N-gram 模型：

estimate-ngram -text Lectures.txt -write-lm Lectures.lm

可以在here找到一个很棒的教程。

【讨论】：

【解决方案2】：

Microsoft Research 发布了一个使用 word2vec 样式向量进行语言建模的工具包。你可以找到它here。

【讨论】：

【解决方案3】：

在 Gensim 中实现的 Doc2Vec 可以完成这项工作。诀窍是他们使用文档 ID 作为上下文词，该词出现在文档中所有词的所有窗口大小中。

【讨论】：