使用带有 Tensorflow GradientTape 的汉明距离损失函数：没有渐变。是不可微分的吗？

Question

我正在使用 Tensorflow 2.1 和 Python 3，按照教程“Tensorflow - Custom training: walkthrough”创建我的自定义训练模型。

我正在尝试对我的损失函数使用汉明距离：

import tensorflow as tf
import tensorflow_addons as tfa

def my_loss_hamming(model, x, y):
  global output
  output = model(x)

  return tfa.metrics.hamming.hamming_loss_fn(y, output, threshold=0.5, mode='multilabel')


def grad(model, inputs, targets):
  with tf.GradientTape() as tape:
      tape.watch(model.trainable_variables)
      loss_value = my_loss_hamming(model, inputs, targets)

  return loss_value, tape.gradient(loss_value, model.trainable_variables)

当我调用它时：

loss_value, grads = grad(model, feature, label)
optimizer.apply_gradients(zip(grads, model.trainable_variables))

grads 变量是一个包含 38 个无的列表。

我得到了错误：

No gradients provided for any variable: ['conv1_1/kernel:0', ...]

有没有什么方法可以使用汉明距离而不“中断渐变胶带注册的渐变链”？

Answer 1

抱歉，如果我说的很明显，但反向传播作为神经网络拟合算法的工作方式是通过梯度 - 例如对于每批训练数据，如果您将特定的可训练权重移动非常小的量delta，您会计算损失函数将改善/降低多少。

汉明损失在定义上是不可微的，因此对于可训练重量的小动作，您永远不会体验到损失的任何变化。我想它只是被添加用于训练模型性能的最终测量，而不是用于训练。

如果您想通过反向传播训练神经网络，您需要使用一些可微损失 - 这样可以帮助模型将权重向正确的方向移动。有时人们会使用不同的技术来平滑这些损失，例如减少 Hamming 并创建近似值 - 例如在这里，它可能会惩罚更接近目标答案的较少预测，而不是对高于阈值的所有内容给出 1，对其他所有内容给出 0。