【问题标题】:The accuracy of the training set and test set suddenly drops, the loss suddenly rises, but slowly recovers训练集和测试集的准确率突然下降,损失突然上升,但慢慢恢复
【发布时间】:2019-02-10 06:10:16
【问题描述】:

在训练LSTM模型的过程中,我原本将学习率固定为0.0001,但是在训练过程中会周期性地经历损失增加和准确率下降,如下图。 enter image description here

我认为样本不好,但我在多个库上都有这个问题。我考虑使用学习率衰减并修改 Adam 优化器的 beta 值。震动虽然解决了,但性能会大打折扣。

enter image description here

所以我想问以下问题: 1、为什么我可以通过修改beta来解决这个问题,但是却导致准确率下降? 2.如果是坏样本,为什么在多个数据库中都会出现这个问题? (ps:我用同样的方法提取特征,可能是因为这个吧?)会不会是模型的原因? 3. 如果我想删除不良样本怎么办?

【问题讨论】:

标签: python tensorflow


【解决方案1】:

我认为有2点:1.检查你的BN参数设置,如果你用过BN。 2. - https://discuss.gluon.ai/t/topic/3386

【讨论】:

  • 谢谢,可能有用
猜你喜欢
  • 1970-01-01
  • 2018-05-17
  • 2021-02-28
  • 1970-01-01
  • 1970-01-01
  • 2019-08-07
  • 2016-08-27
  • 2017-11-12
  • 1970-01-01
相关资源
最近更新 更多