【问题标题】:Why is RNN no weigth between hidden and output?为什么RNN在隐藏和输出之间没有权重?
【发布时间】:2021-09-03 17:30:36
【问题描述】:

PyTorch RNN 有RNN.weight_ih,这是输入层和隐藏层之间的权重,RNN.weight_hh,是隐藏层和隐藏层之间的权重。为什么隐藏和输出之间没有权重?

当我学习 RNN 时,我了解到有 3 个权重。

【问题讨论】:

    标签: python recurrent-neural-network


    【解决方案1】:

    那里没有权重,因为 PyTorch RNN 没有规定如何从隐藏状态创建输出。当您将RNN 应用于序列时,它会返回隐藏状态的序列。

    您可以决定如何处理这些:也许线性变换是获得输出的正确方法(正如您所了解的那样)。也许你不需要输出,除了最后一个。在这种情况下,您只需手动计算最终输出即可节省 O(T) 计算。

    【讨论】:

      猜你喜欢
      • 2021-05-29
      • 2021-07-01
      • 1970-01-01
      • 2017-06-12
      • 2015-06-29
      • 1970-01-01
      • 2014-08-28
      • 2018-05-29
      • 2018-06-26
      相关资源
      最近更新 更多