神经网络代价函数实现

Question

我正在实施神经网络来训练 Python 中的手写数字。以下是成本函数，

在log(1-(h(x))中，如果h(x)为1，则结果为log(1-1)，即log(0)。所以我遇到了数学错误。

我在 10-60 之间随机初始化权重。我不确定我必须改变哪里以及我必须改变什么！

Answer 1

在这个公式中，h(x) 通常是 sigmoid: h(x)=sigmoid(x)，所以它永远不会是 1.0，除非网络中的激活量太大（这很糟糕，而且无论如何都会导致问题）。在h(x)=0 时，log(h(x)) 也可能出现同样的问题，即当 x 是一个很大的负数时。

如果您不想担心数字问题，只需在计算日志之前添加一个小数字：log(h(x) + 1e-10)。

其他问题：

• [10, 60] 范围内的权重初始化看起来不正确，它们最好是小的随机数，例如来自 [-0.01, 0.01]。
• 上面的公式是计算二元交叉熵损失。如果您使用 MNIST，它有 10 个类，因此损失必须是多类交叉熵。详情请见this question。