理解RNN的softmax输出层答案

【问题标题】：Understanding the softmax output layer of RNN理解RNN的softmax输出层
【发布时间】：2019-04-27 18:50:03
【问题描述】：

这是 Keras 中的一个简单 LSTM 模型：

input = Input(shape=(max_len,))
model = Embedding(input_dim=input_dim, output_dim=embed_dim, input_length=max_len)(input)
model = Dropout(0.1)(model)
model = Bidirectional(LSTM(units=blstm_dim, return_sequences=True, recurrent_dropout=0.1))(model)
out =Dense(label_dim, activation="softmax")(model)

这是我将其转换为 Pytorch 模型的尝试：

class RNN(nn.Module):
    def __init__(self, input_dim, embed_dim, blstm_dim, label_dim):
        super(RNN, self).__init__()
        self.embed = nn.Embedding(input_dim, embed_dim)
        self.blstm = nn.LSTM(embed_dim, blstm_dim,  bidirectional=True, batch_first=True)
        self.fc = nn.Linear(2*blstm_dim, label_dim)


    def forward(self, x):
        h0 = torch.zeros(2, x.size(0), blstm_dim).to(device) 
        c0 = torch.zeros(2, x.size(0), blstm_dim).to(device)
        x = self.embed(x)
        x = F.dropout(x, p=0.1, training=self.training)
        x,_ = self.blstm(x, (h0, c0))
        x = self.fc(x)
        return F.softmax(x, dim=1)
#        return x

现在运行 Keras 模型会得到以下结果：

Epoch 5/5
38846/38846 [==============================] - 87s 2ms/step - loss: 0.0374 - acc: 0.9889 - val_loss: 0.0473 - val_acc: 0.9859

但是运行 PyTorch 模型会给出这样的结果：

Train Epoch: 10/10 [6400/34532 (19%)]   Loss: 2.788933
Train Epoch: 10/10 [12800/34532 (37%)]  Loss: 2.788880
Train Epoch: 10/10 [19200/34532 (56%)]  Loss: 2.785547
Train Epoch: 10/10 [25600/34532 (74%)]  Loss: 2.796180
Train Epoch: 10/10 [32000/34532 (93%)]  Loss: 2.790446
Validation: Average loss: 0.0437, Accuracy: 308281/431600 (71%)

我已确保损失和优化器是相同的（交叉熵和 RMSprop）。现在有趣的是，如果我从 PyTorch 模型中删除 softmax（即在代码中使用散列输出，我会得到似乎正确的结果：

Train Epoch: 10/10 [32000/34532 (93%)]  Loss: 0.022118
Validation: Average loss: 0.0009, Accuracy: 424974/431600 (98%)

所以这是我的问题：

1) 我在上面打印的两个模型是否等效（让我们忽略recurrent_dropout，因为我还没有弄清楚如何在PyTorch 中做到这一点）？

2) 我在 PyTorch 中的 softmax 输出层做错了什么？

非常感谢！

【问题讨论】：

标签： python lstm pytorch rnn softmax

【解决方案1】：

我在上面打印的两个模型是等效的吗（让我们忽略recurrent_dropout，因为我还没有弄清楚如何在PyTorch 中做到这一点）？

除了辍学，我看不出有什么区别。所以它们在结构上应该是完全等价的。

注意：如果您以这种方式使用状态，则不必初始化状态（如果您不重用状态）。您可以使用 x,_ = self.blstm(x) 转发 LSTM - 它会自动用零初始化状态。

我在 PyTorch 中的 softmax 输出层做错了什么？

PyTorch torch.nn.CrossEntropyLoss 已经包含了 softmax：

此标准将nn.LogSoftmax() 和nn.NLLLoss() 合二为一单课。

所以它实际上是一个带有 logits 的 CE。我想这使它更有效率。所以你可以在最后省略 softmax 激活。

【讨论】：