Theano lstm - 什么是初始隐藏状态答案

【问题标题】：Theano lstm - what is initial hidden stateTheano lstm - 什么是初始隐藏状态
【发布时间】：2016-12-13 06:08:51
【问题描述】：

我在找到的一段代码中无法理解这一行：

def has_hidden(layer):
    """
    Whether a layer has a trainable
    initial hidden state.
    """
    return hasattr(layer, 'initial_hidden_state')

我的问题是初始隐藏状态是什么？它的用途是什么？或者什么是图层状态？我熟悉论文和视频中的隐藏层、RNN、LSTM，但我找不到关于这件事的任何信息。感谢您的帮助。

【问题讨论】：

标签： python neural-network theano lstm

【解决方案1】：

一层神经元的状态是在那个时间点描述它的所有（其连接的）权重的集合。

为了获得良好的训练性能，有必要不要从一层神经元的所有权重开始为 0。这个问题最常见的解决方案是将所有权重初始化为小但非零的数字。这将描述神经网络的初始状态。

【讨论】：