MultiHeadAttention中Query和Key Tensor的维度答案

【问题标题】：Dimension of Query and Key Tensor in MultiHeadAttentionMultiHeadAttention中Query和Key Tensor的维度
【发布时间】：2021-09-16 20:18:27
【问题描述】：

我对 Keras 文档 https://keras.io/api/layers/attention_layers/multi_head_attention/ 中 MultiHeadAttentionLayer 的文档中提到的查询和关键张量的维度感到困惑 https://keras.io/api/layers/attention_layers/multi_head_attention/

query：查询形状的张量（B、T、dim）

value：形状的值张量（B、S、dim）。

这里我假设 T 和 S 对应于模型中输入的单词序列，应该相同，那么为什么它们不相等？

【问题讨论】：

标签： keras deep-learning nlp transformer attention-model

【解决方案1】：

这在查询和键值对的序列输入维度不同时很有用。

这种情况可能出现在Decoder 中的第二个MultiHeadAttention() 注意层的情况下。这将有所不同，因为K(key) 和V(value) 的输入将来自Encoder()，而Q(query) 将来自Decoder 的第一个MultiHeadAttention() 层。

【讨论】：