pytorch LSTM模型不学习

Question

我创建了一个简单的 LSTM 模型来预测优衣库的收盘价。问题是，我的模型似乎没有学到任何东西。这是我的notebook的链接

这是我的模型创建类（我之前试过relu激活函数，结果一样）：

class lstm(torch.nn.Module):
  def __init__(self,hidden_layers):
    super(lstm,self).__init__()
    self.hidden_layers = hidden_layers
    self.lstm = torch.nn.LSTM(input_size = 2,hidden_size = 100,num_layers = self.hidden_layers,batch_first=True)
    self.hidden1 = torch.nn.Linear(100,80)
    self.dropout1 = torch.nn.Dropout(0.1)
    self.hidden2 = torch.nn.Linear(80,60)
    self.dropout2 = torch.nn.Dropout(0.1)
    self.output = torch.nn.Linear(60,1)

  def forward(self,x):
    batch = len(x)
    h = torch.randn(self.hidden_layers,batch,100).requires_grad_().cuda()
    c = torch.randn(self.hidden_layers,batch,100).requires_grad_().cuda()

    x,(ho,co)= self.lstm(x.view(batch,10,2),(h.detach(),c.detach()))
    x = torch.reshape(x[:,-1,:],(batch,-1))
    x = self.hidden1(x)
    x = torch.nn.functional.tanh(x)
    x = self.dropout1(x)
    x = self.hidden2(x)
    x = torch.nn.functional.tanh(x)
    x = self.dropout2(x)
    x = self.output(x)
    return x

model = lstm(10)

这是我的训练损失图： training loss

这是我的验证损失图： validation loss

这是我的基本事实（蓝色）与预测（橙色）： ground truth vs prediction

谁能指出我做错了什么？

Answer 1

您使用整个数据训练缩放器。这不是一个好的策略。您应该只使用训练数据。

您不必缩放目标。直接使用或应用日志功能或使用返回。

关于隐藏状态和细胞记忆，你为什么要跟踪梯度并在之后分离它们？在馈送 lstm 层时，您不必分离隐藏状态和单元内存，因为它参与反向传播。

如果我理解您的操作，您可以使用最近 10 个开盘价和成交量来预测下一个收盘价。我不认为你可以通过这种配置获得好的结果。你应该更好地把问题形式化。