【发布时间】：2016-05-06 20:03:30
【问题描述】：
我是神经网络的新手，在单个 LSTM 单元中发现了“隐藏单元”的概念。我理解拥有“门”（输入/输出/忘记等）的概念，但什么是隐藏单元？我也明白这与每层中展开的 LSTM 单元的数量不同（等于时间步数）。
【问题讨论】：
标签： machine-learning neural-network lstm recurrent-neural-network
【发布时间】：2016-05-06 20:03:30
【问题描述】：
尽管这是一个老问题，但我想回答这个问题。 当我开始学习 LSTM 时，即使我无法理解 LSTM 中的隐藏单元、返回序列、返回状态。 检查我绘制的上图，这将有助于您理解它。 它是3个隐藏单元LSTM层的表示
- inp = 输入(shape=(2,))
- x = 嵌入(50000, 5)(inp)
- x = LSTM(3,return_sequences=True)(x)
有关详细信息，请查看我在 Medium https://medium.com/@raqueebilahi/ 上的详细博客
【讨论】：
-
嗨@raqueeb shaikh，你图中的三个隐藏单元在哪里？两个词 {Good, Day} 的两个时间步长只有两个 LSTM 单元
-
hi @bestyasser LSTM 单元的数量，即 {Good,Day} 在这种情况下为 2 与隐藏单元不同。在 LSTM 中设置 HyperParameter 时，我们可以选择隐藏单元（2、3、4、5 或任何你喜欢的）。在上图中，如果您只考虑一个 LSTM Cell {Good}，则有成对的 sigmod 和 tanh 函数从嵌入中获取加权和，因此这些是隐藏单元，在这种情况下为 3。如果我假设有 1000 个隐藏单元，那么每个门的 sigmoid 和 tanh 将是 1000。如果您理解它，请告诉我:-) 或需要任何进一步的澄清。