如何在 Keras 上的 seq2seq 模型中添加注意力层

Question

根据this的文章，我写了这个模型：

enc_in=Input(shape=(None,in_alphabet_len))
lstm=LSTM(lstm_dim,return_sequences=True,return_state=True,use_bias=False)
enc_out,h,c=lstm(enc_in)
dec_in=Input(shape=(None,in_alphabet_len))
decoder,_,_=LSTM(decoder_dim,return_sequences=True,return_state=True)(dec_in,initial_state=[h,c])
decoder=Dense(units=in_alphabet_len,activation='softmax')(decoder)
model=Model([enc_in,dec_in],decoder) 

如何在解码器之前为这个模型添加注意力层？

Answer 1

你可以使用this repo，

1. 您需要pip install keras-self-attention
2. 导入层from keras_self_attention import SeqSelfAttention
   • 如果要使用 tf.keras 而不是 keras，请在导入前添加以下内容os.environ['TF_KERAS'] = '1'
   • 确保您使用 keras 时忽略前面的标志，因为它会导致不一致

3. 由于您使用的是 keras 函数式 API，

   enc_out, h, c = lstm()(enc_in)
   att = SeqSelfAttention()(enc_out)
   dec_in = Input(shape=(None, in_alphabet_len))(att)
   

   我希望这能回答你的问题，以及未来的读者