除了输入之外，LSTM 网络单元中是否还有隐藏层？答案

【问题标题】：Are there hidden layers in an LSTM network cell aside from the input?除了输入之外，LSTM 网络单元中是否还有隐藏层？
【发布时间】：2018-08-12 02:28:00
【问题描述】：

对于 LSTM 单元，我们有三种类型的输入：单元状态和最后一个单元的隐藏状态，当前状态输入的输入向量。

除了我们确定向量大小的这三个输入层外，LSTM 单元中还包含一些功能层：Sigmoid 层、Tanh 层和一些向量操作。

我想问一下，这些功能层中是否包含任何隐藏层？

例如，sigmoid 层是否由 H 个隐藏神经元组成，这些神经元首先将输入神经元映射到另一个分布，然后应用 sigmoid 函数进行非线性变换？

或者这些功能层是否像简单地将 sigmoid 函数应用于输入层神经元，然后产生输出？

感谢您的帮助！

【问题讨论】：

【解决方案1】：

我怀疑你对权重矩阵的解释。据我了解，我们使用的是以下矩阵。

Input - order n

State / Output - order h

four input  Matrix having order h X h+n

four output matrix having order h X h

在反向传播中，我们必须使用下面的矩阵顺序

output difference delta - order h

如果我在任何方面有错误，请发表评论。

【讨论】：