TensorFlow 交叉熵教程

Question

我刚刚浏览了TensorFlow 教程 (https://www.tensorflow.org/versions/r0.8/tutorials/mnist/pros/index.html#deep-mnist-for-experts)。

我有两个问题：

1. 为什么它使用cost function with y_ * log(y)？不应该是y_ * log(y) + (1-y_) * log(1-y)吗？

2. TensorFlow 如何知道我使用的cost function 的gradient 是如何计算的？难道我们不应该有个地方告诉TensorFlow如何计算gradient吗？

谢谢！

Answer 1

1. 当y = 1或0时，可以使用y_ * log(y) + (1-y_) * log(1-y)，但是当y是one-hot编码时，y=[0 1 ] 或 [1 0]，我们使用 y_ * log(y)。其实它们是一样的。

2. TensorFlow 中的一切都是图，包括成本函数。

所以每个节点都知道他们的操作和局部梯度。 Tensorflow 使用反向传播（链式法则）来使用图计算梯度。