我正在学习斯坦福 NLP 课程，但我在从下图中理解 Skipgram 中的概念时遇到问题。
从左到右，第一个列向量是 one-hot 编码器，第二个是来自 1 层神经网络的词嵌入矩阵，第三个是词表示向量。但是，当涉及到第四个时，它是一个具有“v x d”维度的矩阵。不确定我是否听对了，但说话者说这是上下文词的表示，这三个矩阵是相同的？
我的问题是： 1. 为什么这三个矩阵相同，但三个乘法结果不同？ 2.我们如何得到这个矩阵（v乘d维）？
讲座链接为：
【问题讨论】：
标签： machine-learning nlp deep-learning stanford-nlp word2vec
在回答您的问题之前，我必须添加一些背景知识，以便从之前的幻灯片中进行论证。首先，优化是关于一个词与另一个词同时出现的概率：中心词和上下文词。向量表示可以在这两者之间共享，但实际上我们有两个矩阵集合（词向量列表） 1. 中心词向量（左侧的第一个红色矩阵） 2. 上下文词向量（中间的三个红色矩阵）。
这个问题中的图片显示了我们如何通过两种向量的乘法和 softmax 归一化来估计概率。现在的问题：
- 我们如何得到这个矩阵（v x d 维度）？
如前所述，这可以是与词向量相同的矩阵，但可以转置。或者，你可以想象我们为每个单词学习了两个向量：1. center 2. context
计算中的上下文词向量以其转置形式使用：
(center words-vectors, v) W : (d,V)
(outside words-vectors, uT) W': (V,d)
V 是词汇的大小，d 是向量的维度大小。 （这些是我们想要从数据中学习的参数）
注意每个矩阵乘法中维度如何变化：
W: (d,V)
x: (V,1)
v = W.x: (d,1)
W': (V,d)
W'.v: (V,1)
x是中心词的one-hot编码，W是所有词向量的列表。 W.x 乘法基本上从这个列表中选择正确的词向量。最终结果是上下文词向量和中心词向量的所有可能点积的列表。真实观察到的上下文词的 one-hot 向量选择预期的结果。然后，基于损失，更新将通过计算流更新W和W'进行反向传播。
- 为什么这三个矩阵相同，但三个乘法结果不同？
中间的正方形和两个菱形代表一个矩阵。这三个乘法发生在三个不同的观察中。尽管它们代表相同的矩阵，但在每个观察参数（W 和W'）上使用反向传播进行更改。这就是为什么三个乘法的结果不同的原因。
通过聊天更新 但是，您的期望是有效的，演示文稿可能会在这些乘法中显示完全相同的结果。因为目标函数是一个窗口中所有共现概率的总和。
【讨论】：
您不会将同一个矩阵乘以三次。你只乘一次。你得到一个与词汇量大小相同的输出向量。我将尝试用一个例子来解释。
假设你的模型有V(vocab_size) = 6、d = 4、C(number of context words) = 2、Wi(word_embedding matrix) size= 6 X 4、Wo(output word representation) size = 4 X 6。
x = [0,1,0,0,0,0] 和 y = y = [[0,0,0,1,0,0], [1,0,0,0,0,0]] (two one-hot encoded vectors) one for each context word 的训练示例。
现在，假设在输入和处理输入（h = x*Wi; z = h*Wo）之后，你得到的输出（z）是
z = [0.01520237, 0.84253418, 0.4773877 , 0.96858308, 0.09331018,0.54090063]
# take softmax, you will get
sft_max_z = [0.0976363 , 0.22331452, 0.15500148, 0.25331406, 0.1055682,0.16516544]
# sft_max_z represent the probability of each word occuring as input's context words.
#Now, subtract sft_max_z with each one-hot encoded vector in y to get the errors.
# errors = [[-0.0976363 , -0.22331452, -0.15500148, 0.74668594, -0.1055682 ,
-0.16516544],
[ 0.9023637 , -0.22331452, -0.15500148, -0.25331406, -0.1055682 ,
-0.16516544]]
现在，您可以减少错误并进行反向传播以进行训练。如果您正在预测，则选择概率最高的两个上下文词（在本例中为 1、3）。
可以将其视为具有多个类的分类问题（多项分类），并且同一对象可以同时属于多个类（多标签分类）。
【讨论】：