张量流中 LSTM 循环权重的 Dropout

【问题标题】：Dropout for LSTM recurrent weights in tensorflow张量流中 LSTM 循环权重的 Dropout
【发布时间】：2017-09-15 15:07:46
【问题描述】：

Tensorflow 的 DropoutWrapper 允许将 dropout 应用于单元格的输入、输出或状态。但是，我还没有看到对单元的循环权重（原始 LSTM 公式中使用的 8 个不同矩阵中的 4 个）执行相同操作的选项。我只是想在实现我自己的 Wrapper 之前检查是否是这种情况。

编辑：

显然，此功能已添加到较新的版本中（我原来的评论提到了 v1.4）：https://github.com/tensorflow/tensorflow/issues/13103

【问题讨论】：

【解决方案1】：

这是因为原始 LSTM 模型仅在输入和输出层应用 dropout（仅适用于非循环层）。本文被视为描述带 dropout 的 LSTM 的“教科书”：https://arxiv.org/pdf/1409.2329.pdf

最近有些人也尝试在循环层中应用 dropout。如果您想了解其实现及其背后的数学原理，请搜索 Yarin Gal 的“递归神经网络中 Dropout 的理论基础应用”。不过，我不确定 Tensorflow 或 Keras 是否已经实现了这种方法。

【讨论】：