人工神经网络中实际输出值过冲/下冲的一般趋势

Question

神经网络（前馈）可能具有超出实际输出而不是下冲（反之亦然）的一般趋势的一些原因是什么？

例如，下图（右）显示了预测误差的几乎完美的高斯分布，但是神经网络似乎倾向于预测值高于实际值：

Answer 1

如果数据中存在偏移，但您的模型中没有常数项（在 NN 中称为“偏差”）来弥补这一点，则只会发生过冲/下冲。如果您首先将数据居中，这不是问题。 （在 NN 中，尤其是在深层神经网络中，也会发生方差逐层增加并且分布变宽的情况，因为变量 Y = aX 的方差为 V(Y) = a^2*V(X)。）

均值两侧的异常值也可能导致旋转（在您的左图中），这意味着小值被高估/低估，而较大的值被低估/高估，具体取决于异常值的确切位置(s)。

但是，在您的右图中，预测误差远小于 Y 的值，这可能只是数值/机器精度问题。

希望能帮到你。