什么是 NN 中的训练损失、有效损失和训练/验证均值答案

【问题标题】：What is Train loss, Valid loss, and Train/Val mean in NNs什么是 NN 中的训练损失、有效损失和训练/验证均值
【发布时间】：2016-08-26 01:46:23
【问题描述】：

我目前正在通过研究 MNIST 示例等示例来了解卷积神经网络。在神经网络的训练过程中，我经常看到如下输出：

 Epoch  |  Train loss  |  Valid loss  |  Train / Val
--------|--------------|--------------|---------------
    50  |    0.004756  |    0.007043  |     0.675330
   100  |    0.004440  |    0.005321  |     0.834432
   250  |    0.003974  |    0.003928  |     1.011598
   500  |    0.002574  |    0.002347  |     1.096366
  1000  |    0.001861  |    0.001613  |     1.153796
  1500  |    0.001558  |    0.001372  |     1.135849
  2000  |    0.001409  |    0.001230  |     1.144821
  2500  |    0.001295  |    0.001146  |     1.130188
  3000  |    0.001195  |    0.001087  |     1.099271

除了时代，有人可以解释一下每列到底代表什么以及这些值的含义吗？我看到很多关于基本 cnn 的教程，但我还没有遇到过详细解释这一点的教程。

【问题讨论】：

标签： machine-learning neural-network conv-neural-network recurrent-neural-network

【解决方案1】：

除了用于训练网络的数据外，似乎还使用了一组保留的数据。训练损失是训练数据集上的误差。验证损失是通过经过训练的网络运行验证数据集后的错误。 train/valid 是两者的比值。

出乎意料的是，随着 epochs 的增加，验证和训练错误都下降了。但在某个时刻，虽然训练错误继续下降（网络对数据的学习越来越好），但验证错误开始上升——这是overfitting！

【讨论】：