比较神经网络在两个特征子集上的结果答案

【问题标题】：Comparing results of neural net on two subsets of features比较神经网络在两个特征子集上的结果
【发布时间】：2019-10-12 02:07:10
【问题描述】：

我在具有 24 个特征的多元时间序列数据集上运行 LSTM 模型。我使用几种不同的方法（方差测试、随机森林提取和额外树分类器）运行了特征提取。不同的方法导致特征子集略有不同。我现在想在所有子集上测试我的 LSTM 模型，看看哪个结果最好。

我的问题是我的 3 个模型的测试/训练 RMSE 分数都非常相似，每次我运行我的模型时，我得到的答案都略有不同。这个问题来自一个天真但仍在学习神经网络复杂性的人，所以请帮助我理解：在这种情况下，您如何确定哪种模型最好？你可以为神经网络做种子吗？还是对一定数量的试验进行某种类型的平均？

【问题讨论】：

【解决方案1】：

由于您提到使用不同的特征提取方法，您得到的特征集仅略有不同，因此结果也相似。此外，由于您的 LSTM 模型也获得了几乎相似的 RMSE 值，因此这些模型能够很好地泛化并进行类似的学习，并从所有数据集中提取重要信息。

最佳模型取决于您未来的数据、不同方法的计算时间和负载以及它们在生产中的持续效果。在神经网络中设置种子并不是一个好主意。基本思想是，无论模型如何开始，您的模型都应该能够达到最佳权重。如果您的模型总是得到相似的结果，那么在大多数情况下，这是一件好事。

【讨论】：