学习词嵌入

使用每个单词的嵌入矩阵E乘one-hot向量得到该单词的嵌入向量(维度与特征数量相同)。

把这些嵌入向量放入神经网络,然后通过softmax分类器,它会尝试在字典范围内预测输出单词。

如果设置窗口大小,即只用固定数量的单词来预测输出单词,可以增强网络对于不同长短句子的适应性。

使用固定长度的历史窗口可以处理任意长度的句子,因为输入的维度总是确定的。

所有单词用的是同一个嵌入矩阵。

研究者发现,如果想构建一个语言模型,用目标词的前几个单词作为上下文是常见做法。

如果你的目标是学习词嵌入,那就可以用其他类型的上下文。

如前后四个单词、上一个单词或者附近的一个单词等等。



相关文章:

  • 2021-12-09
  • 2022-03-06
  • 2022-12-23
  • 2021-04-13
  • 2021-09-29
  • 2022-01-27
  • 2021-10-14
  • 2021-06-01
猜你喜欢
  • 2021-11-29
  • 2021-06-17
  • 2022-01-04
  • 2022-12-23
  • 2021-11-20
  • 2021-07-19
  • 2021-08-31
相关资源
相似解决方案