如何在 Keras 中正确地制作自定义损失函数

Question

我正在制作一种模式，即预测是来自 conv 层的矩阵。 我的损失函数是

def custom_loss(y_true, y_pred):
    print("in loss...")
    final_loss = float(0)
    print(y_pred.shape)
    print(y_true.shape)
    for i in range(7):
        for j in range(14):
            tl = float(0)
            gt = y_true[i,j]
            gp = y_pred[i,j]
            if gt[0] == 0:
                tl = K.square(gp[0] - gt[0])
            else:
                for l in range(5):
                    tl = tl + K.square(gp[l] - gt[l])/5
            final_loss = final_loss + tl/98
    return final_loss

从参数打印出来的形状是

(?, 7, 14, 5)

(?, ?, ?, ?)

标签的形状为 7x14x5。

似乎损失函数被调用为一个预测列表，而不是一次一个预测。我对 Keras 比较陌生，并不真正了解这些东西是如何工作的。

这是我的模特

model = Sequential()
input_shape=(360, 640, 1)

model.add(Conv2D(24, (5, 5), strides=(1, 1), input_shape=input_shape))
model.add(MaxPooling2D((2,4), strides=(2, 2)))

model.add(Conv2D(48, (5, 5), padding="valid"))
model.add(MaxPooling2D((2,4), strides=(2, 2)))

model.add(Conv2D(48, (5, 5), padding="valid"))
model.add(MaxPooling2D((2,4), strides=(2, 2)))

model.add(Conv2D(24, (5, 5), padding="valid"))
model.add(MaxPooling2D((2,4), strides=(2, 2)))

model.add(Conv2D(5, (5, 5), padding="valid"))
model.add(MaxPooling2D((2,4), strides=(2, 2)))


model.compile(
    optimizer="Adam",
    loss=custom_loss,
    metrics=['accuracy'])

print(model.summary())

我收到类似

的错误

ValueError：维度 1 的切片索引 7 超出范围。对于 'loss/max_pooling2d_5_loss/custom_loss/strided_slice_92' (op: 'StridedSlice')，输入形状：[?,7,14,5], [2], [2], [2] 和计算输入张量：input[ 1] = ，输入[2] = ，输入[3] = 。

我想我知道这是因为损失函数的参数是在 4D 的许多预测中同时给出的。

我该如何解决？是我分配损失函数的方式或损失函数中的问题。 目前，损失函数的输出是浮点数。但它应该是什么。

Answer 1

为了回答您的一些疑虑，

我没有看到有人在损失函数中使用循环

通常这是一个非常糟糕的做法。深度网络通常在数百万个样本上进行训练。因此，使用循环而不是使用矢量化操作确实会降低模型的性能。

无循环实现。

我不确定我是否在损失函数中准确捕捉到了您想要的内容。但我很确定它非常接近（如果不是这就是你所需要的）。我本可以将您的损失与我的损失与固定的随机种子进行比较，看看我是否得到了您的损失函数给出的结果。但是，由于您的损失不起作用，我不能这样做。

def custom_loss_v2(y_true, y_pred):
  # We create MSE loss that captures what's in the else condition -> shape [batch_size, height, width]
  mse = tf.reduce_mean((y_true-y_pred)**2, axis=-1)

  # We create pred_first_ch tensor that captures what's in the if condition -> shape [batch, height, width]
  pred_first_ch = tf.gather(tf.transpose(y_pred**2, [3,0,1,2]),0)

  # We create this to get a boolean array that satisfy the conditions in the if else statement
  true_first_zero_mask = tf.equal(tf.gather(tf.transpose(y_true, [3,0,1,2]),0), 0)

  # Then we use tf.where with reduce_mean to get the final loss
  res = tf.where(true_first_zero_mask, pred_first_ch, mse)
  return tf.reduce_mean(res)