wordvector算法如何找到单词之间的相似度？

Question

背后的直觉是什么？谁能简单解释一下为什么我们在词向量网络架构中提取隐藏层的输出？

Answer 1

通常使用的词向量实际上来自神经网络的“投影层”。

该投影层本质上将单个单词索引（“one-hot”表示，从 0 到 V-1 的单个整数，其中 V 是已知唯一单词的计数）转换为 输入 向量（密集嵌入，具有 N 个非零连续维度，其中 N 远小于 V)。

这些输入向量被馈送到试图预测单词的相邻单词的浅层神经网络。

事实证明，当您强制这些密集嵌入（和内部神经网络权重）在预测它们的邻居时变得越来越好时，相关词的词向量会彼此更接近，一般来说他们是相关的。

此外，同时交错尝试对所有单词和训练示例执行此操作往往还会在最终排列中创建有意义的“邻域”和“方向”——允许有趣的“含义算术”，让单词向量运算经常解决类似man : king :: woman : __?__ 的类比。