激活函数的权重范围是多少？

Question

我正在创建自己的神经网络，想知道权重与激活函数的关系。我已经编写了逻辑和 tanh 激活函数，并想知道附加到单个神经元的权重是否必须针对每个函数不同。现在我的逻辑激活函数的权重范围为 0 到 1，tanh 为 -1 到 1。

Answer 1

为什么要限制重量？我认为你在某个地方搞混了。这就是确定神经元输出的方式：

var output = ActivationFunction(every(connection.weight * connection.from.output) + bias)

因此，对所有传入的权重及其源值求和，添加偏差，然后将其传递给激活函数。

是的，sigmoid 被限制在0 和1 之间。但是你为什么要限制你的体重呢？权重的值与激活函数无关。

将权重限制在如此小的范围内（0 到 1 是一个很小的范围）将使您的网络无法解决某些模式。