Word2Vec 中的维度从何而来？答案

【问题标题】：Where do dimensions in Word2Vec come from?Word2Vec 中的维度从何而来？
【发布时间】：2016-11-14 11:49:02
【问题描述】：

我正在使用 word2vec 模型来训练神经网络并构建神经嵌入以在向量空间上查找相似的单词。但我的问题是关于单词和上下文嵌入（矩阵）中的维度，我们在训练开始时通过随机数（向量）对其进行初始化，例如https://iksinc.wordpress.com/2015/04/13/words-as-vectors/

假设我们想在图表上显示 {book,paper,notebook,novel} 单词，首先我们应该构建一个尺寸为 4x2 或 4x3 或 4x4 等的矩阵，我知道矩阵的第一个维度我们的词汇量|v|。但是矩阵的第二维（向量的维数），例如这是单词“book”的向量[0.3,0.01,0.04]，这些数字是什么？它们有什么意义吗？例如0.3相关的数字对于词汇表中单词“book”和“paper”之间的关系，0.01是book和notebook之间的关系等。就像 TF-IDF 或 Co-Occurence 矩阵一样，每个维度（列）Y 都有一个含义 - 它是与行 X 中的单词相关的单词或文档。

【问题讨论】：

你问了很多有趣的问题！

标签： nlp neural-network word2vec word-embedding

【解决方案1】：

word2vec模型使用网络架构来表示输入字和最有可能的相关输出字。

假设存在一个隐藏层（如在问题中链接的示例中），引入的两个矩阵表示允许网络计算其映射输入向量的函数的内部表示（例如“CAT”的权重和偏差在链接示例中）到输出载体（例如“攀爬”）。

网络的权重是输入和输出之间的映射的子符号表示 - 任何单个权重都不一定表示有意义的任何一个。它是网络中所有单位（即所有权重的交互之间的连接权重，其导致网络的函数映射的表示。这就是为什么神经网络通常被称为“黑盒子”模型 - 这可能很难解释为什么他们做出特别决定以及他们如何学习。因此，非常困难地说出载体[0.3,0.01,0.04]完全代表什么。

网络权重传统上初始化为随机值，有两种主要原因：

它可以防止在培训开始之前将偏置引入模型
它允许网络在初始化后从搜索空间中的不同点开始（有助于降低局部最小值的影响）

网络的学习能力可以对其重量初始化的方式非常敏感。今天有更高级的初始化的方式，例如，初始化的重量。 this paper (see section: Weights initialization scaling coefficient).

初始化权重的方式，并且隐藏层的尺寸通常被称为超参数，并且通常根据启发式和问题空间的先验知识选择。

【讨论】：

谢谢标记为您回答。所以你的意思是，每个权重都没有有意义，并且没有办法理解例如这个向量[0.3,0.01,0.04]是什么，右图？但是，矩阵W（词汇矩阵或单词嵌入）的列应该有姓名，对吗？就像来自我们的词汇中的单词的行。有人告诉我，每个维度（列）代表一个描述这个词以某种方式描述这个词的特征，但我无法理解它是什么意思“功能”？ span>
输入向量的加权和（即，输入向量乘以权重矩阵中的特定列），表示“特定列”，表示“特征”，其可能是活动的，取决于单位的激活函数。这些特征代表的代表性很难再说（如上所述）。它们的特征是培训算法已经学习允许它识别一个案例或另一个案例。虽然对于CNNS，您可以可视化由单位检测到图像输入here的功能（读取here @ more）。 span>
它是类似于人类不知道的艾滋病吗？矢量中的数字无法估计？或者只是难以理解，不应该得到重视，直到成果正在实现？如果是这样，那么Word2Vec的HyperParameter调整只是巧合，取决于训练数据，可能在一些新数据上失败！请纠正我缺少的是什么 span>

【解决方案2】：

我想知道同样的事情并放入一个像 (1 0 0 0 0 0...) 这样的向量来查看它最接近的术语。答案是返回的结果似乎并没有围绕任何特定的含义聚集，而只是一种随机的。这是使用 Mikolov 在 Google News 上训练的 300 维向量。在向量空间中查找 NNSE 语义向量，其中各个维度似乎带有特定的人类可理解的含义。

【讨论】：