LSTM 层 Python 的权重和偏差

Question

我开发了一个具有 1 个 LSTM 层和 3 个密集层的 LSTM 模型，如下所示

model = Sequential()

model.add(LSTM(units = 120, activation ='relu', return_sequences = False,input_shape 
(train_in.shape[1],5)))
    
model.add(Dense(100,activation='relu'))
model.add(Dense(50,activation='relu'))
model.add(Dense(1))

我已经训练了模型并获得了模型的训练权重和偏差。详情如下所示。

w = model.get_weights()
w[0].shape, w[1].shape,w[2].shape,w[3].shape,w[4].shape,w[5].shape,w[6].shape,w[7].shape,w[8].shape

我得到的输出是，

 ((5, 480),(120, 480),(480,),(120, 100),(100,),(100, 50),(50,),(50, 1),(1,))

它给出了 2 个维度为 (5,480)&(120,480) 的权重矩阵和一个对应于 LSTM 层的 dim (480,) 的偏置矩阵。其他的与密集层有关。

我想知道的是，LSTM 有 4 层。那么如何分别获得这 4 层的权重和偏差呢？我可以将总权重（5,480）分成4等份，并认为第一个120对应于LSTM的第1层，第2个120属于LSTM的第2层等等？？

请分享您对此的宝贵意见。也请任何好的参考

Answer 1

由于其内部的门单元结构，LSTM 没有 4 个层，而是 4 个权重矩阵。如果这令人困惑，阅读一些有关 LSTM 工作原理的资源会很有帮助。总而言之，内部由 3 个门和 1 个单元状态组成，用于计算最终的隐藏状态。

如果您检查underlying implementation，您可以看到它们的连接顺序：

[i, f, c, o]

# i is input gate weights (W_i).
# f is forget gate weights (W_f).
# o is output gate weights (W_o).
# c is cell gate weights (W_c).

因此，在您的偏置张量 (480,) 的示例中，您可以将其划分为 4 个大小为 120 的子张量，其中 w[:120] 代表输入门权重，w[120:240] 代表遗忘门权重，依此类推。