为什么在ANN中BIAS是必要的？我们应该为每一层设置单独的 BIAS 吗？

Question

我想制作一个模型来预测输入信号的未来响应，我的网络架构是 [3, 5, 1]：

• 3 个输入，
• 隐藏层5个神经元，和
• 输出层中有 1 个神经元。

我的问题是：

1. 我们是否应该为每个隐藏层和输出层设置单独的 BIAS？
2. 我们是否应该在每一层为 BIAS 分配权重（因为 BIAS 成为我们网络的额外价值并导致网络负担过重）？
3. 为什么 BIAS 总是设置为 1？如果 eta 有不同的值，为什么我们不给 BIAS 设置不同的值？
4. 为什么我们总是对非线性函数使用 log sigmoid 函数，我们可以使用 tanh 吗？

Answer 1

所以，我认为如果我们退后一步讨论偏置单元在 NN 中应扮演的角色，大部分内容都会弄清楚。

偏置单元旨在允许网络中的单元学习适当的阈值（即在达到某个总输入后，开始发送正激活），因为通常正的总输入意味着正激活。

例如，如果您的偏置单元的某个神经元 x 的权重为 -2，那么如果所有其他输入加起来大于 -2，则神经元 x 将提供正激活。

所以，以此为背景，你的答案：

1. 不，一个偏差输入总是足够的，因为它可以根据每个单元的权重不同地影响不同的神经元。
2. 一般来说，为每个非输入单元设置偏置权重是一个好主意，因为否则那些没有偏置权重的单元的阈值将始终为零。
3. 自从阈值以来，一旦学习，应该在试验中保持一致。请记住，偏差表示每个单元如何与输入交互；它本身不是输入。
4. 您当然可以，而且很多人都可以。任何压扁函数通常都用作激活函数。