Pytorch - 使用 LSTM 网络时尺寸不正确

Question

我开始使用 pytorch，并使用其中一个教程作为参考，使用了一些转换来构建以下模型：

model = torch.nn.Sequential( 
     torch.nn.Linear(D_in, H),
     torch.nn.ReLU(),
     torch.nn.Linear(H, D_out),
)

我想使用 LSTM 网络，所以我尝试了以下操作：

model = torch.nn.Sequential(
      torch.nn.LSTM(D_in, H),
      torch.nn.Linear(H, D_out) 
)

这给了我这个错误：

RuntimeError：输入必须有 3 个维度，得到 2 个维度

为什么我会看到这个错误？我预计我对如何在 pytorch 中链接转换（网络？）的理解存在根本性的错误......

编辑

在遵循@esBee 的建议后，我发现以下运行正常。这是因为 LSTM 期望输入具有以下维度：

input of shape (seq_len, batch, input_size)：包含输入序列特征的张量。输入也可以是打包的变长序列

local_x = local_x.unsqueeze(0)
y_pred, (hn, cn) = layerA(local_x)
y_pred = y_pred.squeeze(0)
y_pred = layerB(y_pred)

但是，我的原始训练/测试数据集只有序列长度 1 的事实让我觉得我做错了什么。这个参数在神经网络中的作用是什么？

Answer 1

这里需要注意的是，与 torch.nn.Linear 等线性层相反，torch.nn.LSTM 等重复层有多个输出。

虽然torch.nn.Linear 只返回y = Ax + b 中的y，但torch.nn.LSTMs 返回output, (h_n, c_n)（更详细地解释in the docs）让您选择要处理的输出。因此，在您的示例中发生的情况是，您将所有这几种类型的输出输入到 LSTM 层之后的层中（导致您看到的错误）。相反，您应该选择 LSTM 输出的特定部分，并将其仅提供给下一层。

遗憾的是，我不知道如何在 Sequential 中选择 LSTM 的输出（欢迎提出建议），但您可以重写

model = torch.nn.Sequential(
    torch.nn.LSTM(D_in, H),
    torch.nn.Linear(H, D_out) 
)

model(x)

作为

layerA = torch.nn.LSTM(D_in, H)
layerB = torch.nn.Linear(H, D_out)

x = layerA(x)
x = layerB(x)

然后通过编写选择 LSTM 最后一层的输出特征 (h_n) 来纠正它

layerA = torch.nn.LSTM(D_in, H)
layerB = torch.nn.Linear(H, D_out)

x = layerA(x)[0]
x = layerB(x)

Answer 2

错误消息告诉您输入需要三个维度。

查看pytorchdocumentation，他们提供的例子是这样的：

lstm = nn.LSTM(3, 3)  # Input dim is 3, output dim is 3

D_in 或 H 都没有三个维度。