用于训练神经网络的 MSE 成本函数答案

【问题标题】：MSE Cost Function for Training Neural Network用于训练神经网络的 MSE 成本函数
【发布时间】：2017-05-18 04:27:09
【问题描述】：

在关于神经网络和深度学习的online textbook 中，作者从最小化二次成本函数的角度说明了神经网络的基础知识，他说这是均方误差的同义词。不过，有两件事让我对他的功能感到困惑（下面的伪代码）。

MSE≡(1/2n)*∑‖y_true-y_pred‖^2

为什么不将误差平方和除以训练示例的数量n，而是将其除以2n？这是什么意思？
为什么使用双杠符号而不是括号？这让我想到还有一些其他的计算正在进行，例如 L2 范数，但没有明确显示。我怀疑情况并非如此，该术语旨在表达简单的旧平方误差之和。不过超级混乱。

非常感谢您提供的任何见解！

【问题讨论】：

【解决方案1】：

成本函数乘以的 0.5 因子并不重要。事实上，你可以将它乘以你想要的任何实常数，并且学习结果是一样的。它仅用于成本函数相对于输出的导数只是 $$y - y_{t}$$。这在某些应用程序中很方便，例如反向传播。

【讨论】：

【解决方案2】：

符号 ∥v∥ 仅表示向量 v 的通常长度函数。来自您引用的 online textbook。

查找更多关于双栏here 的信息。但据我了解，你基本上可以把它看成一个绝对的名词。

我不知道为什么它说 2n，但它并不总是 2n。 Wikipedia 例如写函数如下：

谷歌搜索Mean Squared Error 也有很多使用维基百科的资源，而不是来自在线教科书的theo ne。

【讨论】：

【解决方案3】：

双条是距离度量，如果y是多维的，括号不正确。对于均方误差，n 没有 2，但这并不重要。它将被学习率吸收。但是，在求导数时，通常会取消平方数 2。

【讨论】：