嵌入递归神经网络

Question

我正在从事一个关于文本数据的研究项目（它是关于搜索引擎查询监督分类）。我已经实现了不同的方法，并且我还为文本使用了不同的模型（例如我的词汇量的二进制向量 - 如果第 i 个单词出现在文本中，则为 1，否则为 0 - 或使用模型 word2vec 嵌入的单词)。

我的顾问告诉我，也许我们可以使用循环神经网络找到查询的另一种表示。由于递归关系，这种表示应该考虑到文本中单词的顺序。我已经阅读了一些关于 RNN 的文档，但我没有找到任何对这个目标有用的东西。我已经阅读了很多关于语言建模（预测单词的概率）的内容，但我不明白如何调整这个模型以获得类似嵌入向量的东西。

非常感谢！

Answer 1

通常，如果想从查询或利用 RNN 的句子中获取嵌入，则使用 logits。 logits 只是完整句子/查询前向传递后网络的输出值。

logit 值生成一个向量，该向量具有输出层的维度（即目标类的数量）：通常是词汇表，因为它们是从语言模型中提取的。

有关提示，请查看以下内容：

• http://arxiv.org/abs/1603.07012
• How does word2vec give one hot word vector from the embedding vector?

请注意，原则上，人们也可以使用双向网络或受过其他任务训练的网络，从而获得更小的嵌入，即使最后一个选项有点花哨并且据我所知尚未探索。