神经网络偏差

Question

我正在构建一个前馈神经网络，并试图决定如何实现偏差。我不确定两件事：

1) 将偏差作为节点的特征而不是虚拟输入+权重实现有什么缺点吗？

2) 如果我将其实现为虚拟输入，是仅在第一层输入（从输入到隐藏层），还是在每一层都需要一个虚拟输入？

谢谢！

附：我目前正在使用二维数组来表示层之间的权重。对其他实现结构有什么想法吗？这不是我的主要问题，只是寻找思考的食物。

Answer 1

1. 只要行为正确，实施并不重要。

2. 是的，每一层都需要它。

3. 二维数组是一种方法。

我建议将偏差作为另一个具有恒定输入 1 的神经元。这将使其更容易实现 - 您不需要特殊的变量或类似的东西。