具有 0,0,0 的二元特征，在 NN 中总是返回 0.5

【问题标题】：Binary features with 0,0,0, in NN always return 0.5具有 0,0,0 的二元特征，在 NN 中总是返回 0.5
【发布时间】：2017-07-11 19:54:29
【问题描述】：

假设我们有三列，具有二进制特征 (0,1)。数据集中的一行是 0,0,0，标签为 0。

我面临的问题是：

当为该行分配权重并激活 sigmoid 函数时，我将始终收到 0.5，因为任何权重为 0 的零数组乘积。

如何解决这个问题？

【问题讨论】：

【解决方案1】：

除了乘以权重矩阵之外，您还可以添加一个偏差（这通常是在神经网络中完成的），因此您不一定会得到一个零向量。您还可以添加更多隐藏层（但正如我所说，即使添加偏置向量也可以解决您提到的问题）。

【讨论】：

谢谢米里亚姆。我可以问一下吗？是否建议为每个隐藏层设置偏差，或者对于一个（仅第一个）就足够了。因为想象一下，如果我在第一个隐藏层中包含偏差并计算到第二层的传播，第二层的结果将与我的问题相同。
@Makaroniiii 通常每一层都包含一个偏置向量。
非常感谢。祝你有美好的一天