人工神经网络中偏差的目的是什么？

Question

• 我读过一本书，作者提到偏置 b_k 用于对输出 u_k 进行仿射变换（求和加权输入信号）。

• 另外，作者提到，由于这种给出恒定值的偏差，比如“k”，使得神经元没有连接到前一层。

我处于迷茫状态。有人可以告诉我以上两点是什么意思，以及是否有任何其他对网络的偏见的用途？

提前致谢！

Answer 1

如果神经元激活是 z(a) = wa + b，则 b 是偏差。这是一个偏差，因为它越大，这个神经元的偏差就越大，或者换句话说，它不太关心从最后一层传递给它的 (a) 什么。我假设第二点是指这样一个事实，即如果偏差足够大（正或负），就像神经元不再关心传递给它的东西，它总是会将相同的东西传递给下一层.我需要在上下文中查看它以确定作者在说什么，但总的来说，您只需要了解它是一个可以增加偏见的常数（不关心最后一层给出了什么）。不过不要太担心它的影响，因为学习（或优化）过程会自动调整这些，所以你不必为网络选择合适的偏差值。随着您对这些概念越来越熟悉，它将开始变得更有意义