【发布时间】:2021-09-03 17:30:36
【问题描述】:
PyTorch RNN 有RNN.weight_ih,这是输入层和隐藏层之间的权重,RNN.weight_hh,是隐藏层和隐藏层之间的权重。为什么隐藏和输出之间没有权重?
当我学习 RNN 时,我了解到有 3 个权重。
【问题讨论】:
标签: python recurrent-neural-network
PyTorch RNN 有RNN.weight_ih,这是输入层和隐藏层之间的权重,RNN.weight_hh,是隐藏层和隐藏层之间的权重。为什么隐藏和输出之间没有权重?
当我学习 RNN 时,我了解到有 3 个权重。
【问题讨论】:
标签: python recurrent-neural-network
那里没有权重,因为 PyTorch RNN 没有规定如何从隐藏状态创建输出。当您将RNN 应用于序列时,它会返回隐藏状态的序列。
您可以决定如何处理这些:也许线性变换是获得输出的正确方法(正如您所了解的那样)。也许你不需要输出,除了最后一个。在这种情况下,您只需手动计算最终输出即可节省 O(T) 计算。
【讨论】: