如何在 Keras 中将损失函数指定为二次加权 kappa？

Question

我的理解是keras需要损失函数才能有签名：

def custom_loss(y_true, y_pred):

我正在尝试使用sklearn.metrics.cohen_kappa_score，这需要 (y1, y2, labels=None, weights=None, sample_weight=None)`

如果我按原样使用它：

model.compile(loss=metrics.cohen_kappa_score,
              optimizer='adam', metrics=['accuracy'])

那么weights 将不会被设置。我想将其设置为quadtratic。有什么可以通过的吗？

Answer 1

在 Keras 中实现参数化自定义损失函数 (cohen_kappa_score) 有两个步骤。由于有满足您需求的实现功能，因此您无需自己实现它。但是，根据TensorFlow Documentation，sklearn.metrics.cohen_kappa_score 不支持加权矩阵。 因此，我建议 TensorFlow 的 cohen_kappa 的实现。然而，在 Keras 中使用 TensorFlow 并不是那么容易…… 根据Question，他们使用control_dependencies 在 Keras 中使用 TensorFlow 指标。这是一个例子：

import keras.backend as K
def _cohen_kappa(y_true, y_pred, num_classes, weights=None, metrics_collections=None, updates_collections=None, name=None):
   kappa, update_op = tf.contrib.metrics.cohen_kappa(y_true, y_pred, num_classes, weights, metrics_collections, updates_collections, name)
   K.get_session().run(tf.local_variables_initializer())
   with tf.control_dependencies([update_op]):
      kappa = tf.identity(kappa)
   return kappa

由于Keras loss functions 将(y_true, y_pred) 作为参数，您需要一个返回另一个函数的包装函数。这是一些代码：

def cohen_kappa_loss(num_classes, weights=None, metrics_collections=None, updates_collections=None, name=None):
   def cohen_kappa(y_true, y_pred):
      return -_cohen_kappa(y_true, y_pred, num_classes, weights, metrics_collections, updates_collections, name)
   return cohen_kappa

最后，你可以在 Keras 中按如下方式使用它：

# get the loss function and set parameters
model_cohen_kappa = cohen_kappa_loss(num_classes=3,weights=weights)
# compile model
model.compile(loss=model_cohen_kappa,
          optimizer='adam', metrics=['accuracy'])

关于使用 Cohen-Kappa 度量作为损失函数。一般来说，可以使用加权 kappa 作为损失函数。这是一个paper，使用加权 kappa 作为多类分类的损失函数。

Answer 2

您可以将其定义为自定义损失，是的，keras 在损失函数中只接受两个参数是对的。以下是定义损失的方法：

def get_cohen_kappa(weights=None):
    def cohen_kappa_score(y_true, y_pred):
        """
        Define your code here. You can now use `weights` directly
        in this function
        """
        return score
    return cohen_kappa_score

现在你可以将这个函数传递给你的模型：

model.compile(loss=get_cohen_kappa_score(weights=weights),
              optimizer='adam')
model.fit(...)