缩放 LSTM 权重有意义吗？答案

【问题标题】：Does scaling LSTM weights makes sense?缩放 LSTM 权重有意义吗？
【发布时间】：2018-01-03 13:28:15
【问题描述】：

我想将隐藏状态从多个 LSTM 网络转移到新网络。在我将隐藏状态输入到新网络之前对其进行缩放或标准化是否有意义？

【问题讨论】：

【解决方案1】：

这种方式很可能会破坏网络。看看下面的 LSTM 方程：

根据输入序列x，缩放Wi或Wc可以使相应的偏差占主导地位，这基本上会形成一个全新的网络。相同的输入序列x 将导致不同的长期和短期状态，没有理由认为它们更好。同时缩放权重和偏差也很奇怪，因为它改变了整个线性层的比例。

如果您对权重正则化感兴趣，最好将其合并到原始网络中，而不是修补训练好的模型。

【讨论】：