为什么逻辑回归的权重参数初始化为零？答案

【问题标题】：Why do weight parameters of logistic regression get initialized to zeros?为什么逻辑回归的权重参数初始化为零？
【发布时间】：2017-09-10 14:58:40
【问题描述】：

我看到神经网络的权重被初始化为随机数，所以我很好奇为什么逻辑回归的权重会被初始化为零？

【问题讨论】：

标签： parameters neural-network initialization logistic-regression

【解决方案1】：

在神经网络的情况下，每一层都有 n 个神经元。因此，如果您将每个神经元的权重初始化为 0，那么在反向传播之后，它们中的每一个都将具有相同的权重：

无论您迭代多长时间，第一层中的神经元 a1 和 a2 都将具有相同的权重。因为他们计算的是同一个函数。

逻辑回归并非如此，它只是 y = Wx + b。

【讨论】：

这是否意味着 NN 因为没有添加任何偏差，因此它将始终保持不变？但是逻辑回归不是这样吗？ ?

【解决方案2】：

我认为上述答案有点误导。实际上，sigmoid 函数，也称为 logit 函数，由于其特殊的性质，一直被用于逻辑回归。例如，

（对不起，丑陋的公式）。其对应的功能如下图所示：因此，零确保值始终位于线性区域，使传播更容易。

【讨论】：

【解决方案3】：

如果所有权重都初始化为零，反向传播将无法按预期工作，因为中间神经元和起始神经元的梯度将消失（变为零）并且永远不会更新。原因是，在 NN 的反向传播中，某个中间神经元的梯度乘以从该神经元到下一层神经元的出边的权重，这将是零，因此该中间节点的梯度将是也为零。随后所有的权重将永远不会提高，模型最终只会纠正直接连接到输出神经元的权重。

【讨论】：

【解决方案4】：

这是否意味着将权重初始化为零的神经网络与普通逻辑回归一样好，或者说是具有一个计算 WX+b 的单个单元的 NN？

【讨论】：

这是不正确的，因为您使用的是某种激活函数（sigmoid、tanh 等），它会给您带来非线性。我认为，如果您将所有权重初始化为零，那么每一层都会有一个神经元，因为每一层中所有神经元的所有权重都将相等。跨度>