TensorFlow 自定义成本函数

Question

我有 2 个具体的类，比如 A 和 C。我想使用 NN 将它们分类为 A、B、C 类，这样过于接近而无法自信分类的样本就被归类为 B。成本函数应该如下： 错误分类（将 A 分类为 C，反之亦然）将产生非常大的成本。正确的分类将具有零成本。将一个项目分类为 B 将具有非常低的成本。结果是我们只区分我们非常确定适合它们各自类别的样本。

我只完成了 TensorFlow 中的简单教程，但没有介绍如何定义更具体的成本函数，例如。谁能解释一下如何在 TensorFlow 中实现这一点

这是我的相关代码，我目前仅使用 2 个类对其进行分类。它直接来自 TensorFlow 教程：

cost = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(y, y_))
train_step = tf.train.AdamOptimizer(learning_rate = learning_rate).minimize(cost)

y 是 NN 的输出（对于具有 3 个类的两个样本集看起来像 [[1,0,0],[0,1,0]]），y_ 是样本的正确类这可能是 [[1,0,0],[0,0,1]]。在这个例子中，我们将第二个样本分类为 B，因为我们不确定，但真正的类别是 C。

Answer 1

我认为您对 NN 分类器的工作原理有一些基本的误解。如果您要更深入地对它们进行编码，您可能应该阅读一下。我强烈推荐 Michael Nielsen Neural Networks and Deep Learning 的在线图书。

也就是说，您正在寻找的解决方案不是创建一个特殊的成本函数，而是您如何解释从 NN 获得的结果。你没有 3 个类，你有 2 个。“我不知道这是什么”本身并不是一个类，而是 NN 对其答案的信心的衡量标准。因此，您的网络应该有 2 个输出，每个类一个，就像在 TendorFlow 指南中一样。你应该像在指南中一样训练它。一旦你的网络经过训练，当你给它一个样本进行分类时，你会得到 2 个数字，我们称它们为 A' 和 C'。这些数字表明 NN 对样本所属类别的信心。例如，如果你得到 A' == 0.999 和 C' == 0.00001，网络非常确定你的样本是 A 类。如果你得到 A' == 0.6 和 C' == 0.59，你的网络没有想法是样本是 A 还是 C，但稍微支持它是 A 类的理论。现在由您决定置信区间是多少。为了使这更容易，您可能应该将 softmax 用于输出层的非线性（TensorFlow MNIST 指南的方式）。 softmax 的一个有用特性是所有类的总和始终为 1，您可以根据 A' 和 C' 之间的差异轻松做出决定。