如何处理 Echo State Networks 中的随机化问题？答案

【问题标题】：How can I deal with a randomization issue in Echo State Networks?如何处理 Echo State Networks 中的随机化问题？
【发布时间】：2015-07-24 22:49:42
【问题描述】：

我在强化学习任务中使用 Echo State Networks (ESN) 作为 Q 函数。我已经设法在具有特定储层拓扑的测试阶段实现了平均 90% 的高精度（光谱半径 = 0.9，正则化系数 = 10，#input unit = 2，#output units = 1，#reservoir units = 8，并且没有泄漏率）。

经过 100 集的训练，系统在测试阶段达到了很高的准确率。但是当我用不同的随机种子初始化网络权重时，它的行为变得非常不稳定，无法像以前那样实现高性能。我想知道如何克服这个随机性问题，并让 ESN 对其输入和存储权重的不同随机初始化具有鲁棒性并且可以很好地泛化？

这里是我如何初始化我的网络。从正态分布采样的输入权重和水库权重（平均值 = 0 和标准 = 1）。输入权重矩阵用统一方差归一化，储层权重通过除以绝对特征值的最大值并乘以光谱半径来归一化。

提前致谢

拉敏

【问题讨论】：

到目前为止我最好的想法是在水库中使用大量神经元和设置光谱半径的经验方法，足够小，然后它可以补偿输入和水库权重初始化中的不同随机种子.a practical approach for implementing echo state networks。除此之外，还有一些其他方法可以训练输入和储存器八。那么问题是设计ESN的一般原则是什么？（而不是经验参数搜索。）

标签： machine-learning neural-network deep-learning reinforcement-learning

【解决方案1】：

我倾向于同意您的评论：您的水库需要更多的神经元来增加捕获正确动态的可能性。但是，关于您的第二个问题，我想说该原理与传统的前馈神经网络没有太大区别，您将需要经验参数搜索。更具体地说，对于 ESN，我会执行以下操作：

如果您的 ESN 适用于某些随机种子但不适用于其他种子，请增加存储库的大小
如果您的 ESN 过拟合（高训练性能和低测试性能），请增加正则化参数（顺便说一句，我认为对于您的 NN 来说已经相当高了，但这取决于您的数据集）
如果您的 ESN “忘记”得太快，请增加频谱半径。请注意，在某些情况下，即使大于 1 的值也是可以接受的。如果光谱半径已经太高并且您仍然获得非常短期的记忆，请包括泄漏率
请注意，您还可以调整水库权重的稀疏度（稀疏度越高 = 混乱行为越少）

【讨论】：