变压器模型的输入

Question

我正在尝试了解变压器模型。请考虑我下面的示例并帮助我理解这个概念。

示例：英语到法语的转换

我的问题：

1. 输入的词嵌入是英法预训练的嵌入吗？

2. 法语单词的预测发生在解码器的哪一步？

3. 解码器中的输出嵌入是否只是解码器在预测之前的输出，如果是这样，我为什么要屏蔽下一个单词，因为我仍然不知道下一个单词，因为我还没有作为输出传递

请澄清我这个疑问

我也参考了这些链接：

• https://datascience.stackexchange.com/questions/81727/what-would-be-the-target-input-for-transformer-decoder-during-test-phase
• https://datascience.stackexchange.com/questions/51785/what-is-the-first-input-to-the-decoder-in-a-transformer-model

Answer 1

在我的回答中，我参考了 Vaswani 等人的原始论文 Attention Is All You Need。

1. 输入被转换成矩阵。为此，使用了 Word 嵌入层，可以将其视为查找表。
2. 编码器一次性创建一个表示矩阵。 然后这是解码器的输入。所以解码器中使用的矩阵V和K就是输入的表示。
3. 编码器已经预先知道总输入。为避免作弊，对仍待处理的单词进行了屏蔽，使编码器无法“作弊”。