是否可以创建自定义 Tensorflow GRU/LSTM 单元？

Question

我想修改tf.nn.rnn_cell.GRUCell 并为其添加另一个门以作为第二个输入，这样除了z - 更新门和r - 重置门之外，还有第三个g - 自定义门对于网络的第二个输入类似于Kiddon et al. 2016 和Wen et al. 2015。

我设法为 Torch7 GRU 单元做到了这一点，它成功地解决了特定的序列建模问题。我怀疑这在 Tensorflow 中实现起来并不简单，但也许我错了。有人可以提供有关 Tensorflow 中自定义单元的更多详细信息吗？

Answer 1

这是可能的。正如this 文章所述，LSTM 和 GRU 单元只是非线性和算术运算的排列。

This repository 包含用于 pyTorch 的自定义 LSTM、GRU 和其他 RNN 单元实现。

This repository 包含 TensorFlow 的自定义 LSTM 和 GRU 实现。