【问题标题】:What is the input to the hidden layers of a multilayer RNN多层 RNN 的隐藏层的输入是什么
【发布时间】:2021-07-01 18:48:49
【问题描述】:

这个question 使大部分内容非常清楚。只有一部分我还不知道答案......在this论文的图1中,深层的输入是相同的输入(即x [t])还是前一层的输出?

论文的图 1 中有一个非常简单的表达问题的方法,红线是越过每一层还是前一层的输出。

我认为在时间 t 所有层的输入是 x[t] 因为如果它是前一层的输出并且 x[t] 与 h[t] 的维度不同,那么你需要所有隐藏的 GRU 单元接受 t 输入的不同维度(即第一层将接受隐藏状态和输入,但所有后续层将接受来自 t-1 的相应隐藏状态以及来自前一层的隐藏状态层)。

但话又说回来,在我的一个课程中,TA 有一个解决方案,假设 x[t] 和 h[t] 是相同的维度,因此对于后续层,他传递了前面的层输入......这只是没有好像一般都是这样的。

可能 tensorflow 和 pytorch 源代码会提供明确的答案?

【问题讨论】:

    标签: deep-learning lstm recurrent-neural-network gated-recurrent-unit


    【解决方案1】:

    Pytorch 解决了这个问题。它肯定是时间 t 的输入,因为所有层都具有相同的输入维度。

    我还没有找到暗示这一点的 tensorflow 特定文档,但我假设它是相同的。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2018-08-13
      • 2019-05-29
      • 2013-11-10
      • 2019-07-31
      • 2018-01-25
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多