【问题标题】：Meaning of Bias with zero inputs in Perception at ANNs人工神经网络感知中零输入偏差的含义
【发布时间】：2019-01-02 09:58:55
【问题描述】：

我是计算机科学专业的学生。昨天我们有一个关于神经网络的讲座。我想我理解了神经网络中感知器的特定部分，但有一个例外。我已经对感知器中的偏差进行了研究——但我仍然没有得到它。到目前为止，我知道，有了偏差，我可以在感知中使用权重来操纵输入的总和，以评估减去特定偏差的总和大于激活函数阈值 - 如果函数应该触发（Sigmoid）。但是在我教授的演示幻灯片上，他提到了这样的事情：

将偏差添加到感知器以避免所有输入出现问题可能等于零 - 没有乘法权重会产生影响

我无法弄清楚这句话背后的含义是什么，为什么它很重要，所有加权输入的总和不能等于零？。如果所有输入都为零，那么对下一个隐藏层的下一个感知应该没有影响，对吧？此外，这种感知是反向传播的静态值，对改变感知的权重没有影响。还是我错了？

有没有人解决这个问题？提前致谢

【问题讨论】：

想象 Nor 函数。输入 [0, 0] 时，输出为 1。如果没有偏差，您将无法做到这一点。
所以偏差应该保证我的函数总是运行来计算例如也不（0,0）？所以我的偏见应该总是大于我的阈值？
我喜欢@Eryl Kenner 的回答，其中声明“偏见是一种抵消”。偏差会在您的输出中添加一些非线性。而且这种偏差不是“静态的”，因为它像其他神经元一样附加到权重，因此可以通过反向传播进行修改！想想像 2x 这样的线性函数。你不能用输入 0 得到输出 1。如果你添加一个偏置项 2x+1，你可以用输入 0 得到输出 1。由于可以修改偏置，你可以得到输出 -2你的输入 1 !! （使用函数 2x-4 !!bias = -4）

标签： neural-network artificial-intelligence

【解决方案1】：

偏差

偏差本质上是一种偏移量。

想象一下单个感知器的简单情况，输入和输出之间的关系，比如说：

y = 2x + 3

没有偏置项，感知器可以匹配 "2" 的斜率（通常称为权重），这意味着它可以学习：

y = 2x

但它无法匹配 "+ 3" 部分。

虽然这是一个简单的例子，但这个逻辑通常可以扩展到神经网络。神经网络可以捕获非线性函数，但通常需要偏移量才能做到这一点。

你问了什么

您的教授所说的另一个很好的例子说明了为什么需要抵消。想象一下感知器的所有输入都是 0。感知器的输出是每个输入的总和乘以权重。这意味着每个权重都乘以 0，然后相加。因此，结果将始终为 0。

但是，如果有偏差，输出仍然可以保留一个值。

【讨论】：

但为什么我的输出保持原值很重要？
除非你不能优化每个功能。想想我给你的 NOR 门示例。
@Leon 如果您试图训练您的网络以逼近某个函数或数据集，那么恒定的输出 0 将无济于事。在教授的示例中，输出始终锁定为零，这意味着您基本上失去了对网络输出的控制。权重的任何变化都永远会产生不同的输出，这意味着您永远无法训练您的网络。