二元逻辑回归 - 我们需要 one_hot 编码标签吗？

Question

我有一个逻辑回归模型，我参考这个link

标签是一个布尔值（0 或 1 作为值）。

在这种情况下我们需要对标签进行 one_hot 编码吗？

问的原因：我使用下面的函数来找到 cross_entropy 并且损失总是为零。

def cross_entropy(y_true, y_pred):
    y_true = tf.one_hot([y_true.numpy()], 2)
    print(y_pred)
    print(y_true)
    loss_row = tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_pred)
    print('Loss')
    print(loss_row)
    return tf.reduce_mean(loss_row)

编辑：- 渐变将 [None,None] 作为返回值（用于以下代码）。

def grad(x, y):
with tf.GradientTape() as tape:
    y_pred = logistic_regression(x)
    loss_val = cross_entropy(y, y_pred)       
return tape.gradient(loss_val, [w, b])

示例值

loss_val => tf.Tensor(307700.47, shape=(), dtype=float32)

w => tf.Variable 'Variable:0' shape=(171, 1) dtype=float32, numpy= 数组([[ 0.7456649 ], [-0.35111237],[-0.6848465 ],[ 0.22605407]]

b => tf.Variable 'Variable:0' shape=(1,) dtype=float32, numpy=array([1.1982833], dtype=float32)

Answer 1

在二元逻辑回归的情况下，您不需要 one_hot 编码。一般用于多项逻辑回归。

Answer 2

如果你在做普通（二元）逻辑回归（带有 0/1 标签），那么使用损失函数tf.nn.sigmoid_cross_entropy_with_logits()。

如果您要进行多类逻辑回归（也称为 softmax 回归或多项逻辑回归），那么您有两种选择：

1. 以 1-hot 格式定义您的标签（例如 [1, 0, 0]、[0, 1, 0]、...）并使用损失函数 tf.nn.softmax_cross_entropy_with_logits()

2. 将标签定义为单个整数（例如 1、2、3、...）并使用损失函数 tf.nn.sparse_softmax_cross_entropy_with_logits()

对于后两者，您可以在这个 StackOverflow 问题中找到更多信息：

What's the difference between sparse_softmax_cross_entropy_with_logits and softmax_cross_entropy_with_logits?