【问题标题】:epoch and calculating mean square error for training set Neural Network训练集神经网络的纪元和计算均方误差
【发布时间】:2014-01-19 18:02:04
【问题描述】:

我的问题是关于神经网络训练的。我已经搜索过这个,但是没有很好的解释。

那么对于第一个,如何计算均方误差? (我知道这很傻,但我真的不明白)

秒: 当神经网络进行训练时,我们输入了一个由许多对(输入及其所需输出)组成的训练集。现在我们应该什么时候计算均方误差?当我们已经采取了所有对时,它会这样做吗?还是我们为每一对计算它?

如果是针对每一对,那么有可能在训练集中的所有对被采用之前,误差达到最小期望误差。

第三:一个循环的训练集的epoch值会增加吗?或者当每对(输入和期望的输出)被取走时它会增加吗?(我知道这是另一个愚蠢但请耐心等待)

非常感谢

【问题讨论】:

    标签: artificial-intelligence neural-network


    【解决方案1】:

    你的问题是关于神经网络训练的。我已经搜索过这个,但是没有很好的解释。

    网络上有很多很好的解释,在文献中,一个这样的例子可能是 Haykin 的书:神经网络和学习机器

    那么对于第一个,如何计算均方误差? (我知道这很傻,但我真的不明白)

    用最简单的术语来说,均方误差定义为

    sum_i 1/n (desired_output(i) - model_output(i))^2
    

    因此,您只需计算错误平方均值(您的输出与所需输出之间的差异)。 p>

    现在我们应该什么时候计算均方误差?当我们已经采取了所有对时,它会这样做吗?还是我们为每一对计算它?

    两种方法都用,一种叫batch学习,一种叫在线学习。所以接下来的所有问题都有答案“两者都是正确的,这取决于您使用的是批量学习还是在线学习”。选择哪一个?显然 - 这取决于,但为了简单起见,我建议从 batch 学习开始(因此您计算 所有 训练样本的误差,然后更新)。

    【讨论】:

    • 那么当人们说神经网络训练的结果误差时,与指定最小误差相比的误差是均方误差吗?还是有任何类型的误差?
    • 误差有很多种,包括均方误差、熵误差、0/1损失等。也是在不同的数据集上测量的:训练数据(不重要的度量)、验证错误(重要的度量)从训练停止的角度)或测试数据(重要度量,显示泛化错误)
    【解决方案2】:

    如果我们使用在线训练进行训练并且在训练集中的所有数据项被覆盖之前误差达到最小值,那么我们跳过该值的权重更新并继续下一个训练数据,即我们确保我们在退出训练前完成一个 epoch

    【讨论】:

      猜你喜欢
      • 2014-01-02
      • 1970-01-01
      • 1970-01-01
      • 2011-11-20
      • 2015-05-01
      • 2015-06-11
      • 2016-07-01
      • 2011-04-07
      相关资源
      最近更新 更多