RNN：仅在最终时间步获取输出时的反向传播答案

【问题标题】：RNN: Back-propagation through time when output is taken only at final timestepRNN：仅在最终时间步获取输出时的反向传播
【发布时间】：2017-08-01 05:33:30
【问题描述】：

在这个blog Denny Britz 的循环神经网络中。作者指出，“上图在每个时间步都有输出，但根据任务的不同，这可能不是必需的。例如，在预测句子的情感时，我们可能只关心最终输出，而不关心每个词后的情绪。类似地，我们可能不需要在每个时间步输入。"

在我们只在最后一个时间步取输出的情况下：如果每个时间步都没有输出，只有最后一个，反向传播将如何变化？我们需要在每个时间步定义损失，但是没有输出怎么办呢？

【问题讨论】：

标签： machine-learning neural-network recurrent-neural-network backpropagation

【解决方案1】：

您“需要在每个时间步定义输出”这不是真的，实际上通过时间的反向传播更简单，单个输出比图像上的输出。当只有一个输出时，只需“将您的网络旋转 90 度”，它将是一个常规的前馈网络（只是一些信号直接进入隐藏层） - 反向传播像往常一样工作，推动偏导数通过系统。当我们在每一步都有输出时，这变得更加棘手，通常您将真正的损失定义为所有“小损失”的sum，因此您必须对所有梯度求和。

【讨论】：

帮助很大。谢谢。