TensorFlow——理解 translate.py 中的嵌入

【问题标题】：TensorFlow -- Understanding Embeddings in translate.pyTensorFlow——理解 translate.py 中的嵌入
【发布时间】：2017-01-12 02:04:30
【问题描述】：

我的理解是 translate.py 实现了一个编码器-解码器模型，其中一个步骤是将句子从输入语言翻译成固定长度的向量。从translate.py doesnt use embedding? 的帖子和我自己对代码的调查来看，我认为句子嵌入将存储在 embedding_attention_seq2seq/RNN/EmbeddingWrapper/embedding:0 中。但这是一个形状变量，对应于我的输入词汇大小 X rnn 层大小。我不明白我如何在概念上将其解释为句子的编码。我的理解错误在哪里？

【问题讨论】：

标签： tensorflow neural-network recurrent-neural-network

【解决方案1】：

嵌入层的名字不是叫seq2seq/embedding_attention_seq2seq/RNN/EmbeddingWrapper/embedding:0

你可以显示所有变量：

for var in tf.trainable_variables():
  print var.name

在embedding_attention_seq2seq()函数定义中

【讨论】：

您如何解释存储在该变量中的值？问题不在于如何获取该变量的值，而是该值的含义。
嵌入变量包含一个大小为 : vocab_size x embedding_size 的矩阵，将词汇表中的每个单词表示为一个大小为 embedding_size 的向量。如果您将矩阵保存为 tsv 格式，您可以在 projector.tensorflow.org 中将其可视化。这些值表示单词如何相互关联。希望我澄清了一些事情。