如何在线性分类器中应用类权重进行二元分类？

Question

这是我用来执行二进制分类的线性分类器，这里是代码 sn-p：

my_optimizer = tf.train.AdagradOptimizer(learning_rate = learning_rate)
my_optimizer = tf.contrib.estimator.clip_gradients_by_norm(my_optimizer,5.0)
# Create a linear classifier object
linear_classifier = tf.estimator.LinearClassifier(
          feature_columns = feature_columns, 
          optimizer = my_optimizer 
          )
linear_classifier.train(input_fn = training_input_fn, steps = steps)

数据集不平衡，只有两个类是/否。 NO类示例数为36548，YES类示例数为4640。

如何对这些数据应用平衡？我一直在四处寻找，我可以找到与类权重等相关的东西，但我找不到如何创建类权重以及如何应用于张量流的训练方法。

这是我计算损失的方法：

training_probabilities = linear_classifier.predict(input_fn = training_predict_input_fn)
training_probabilities = np.array([item['probabilities'] for item in training_probabilities])

validation_probabilities = linear_classifier.predict(input_fn=validation_predict_input_fn)
validation_probabilities = np.array([item['probabilities'] for item in validation_probabilities])

training_log_loss = metrics.log_loss(training_targets, training_probabilities)
validation_log_loss = metrics.log_loss(validation_targets, validation_probabilities)

Answer 1

我假设您正在使用来自sklearn 的log_loss 函数来计算您的损失。如果是这种情况，您可以使用参数sample_weight 添加类权重，并传递一个数组，其中包含要为每个数据点赋予的权重。 sample_weight 是 class_weights 的推出版本。您可以通过传递给定here 的样本权重来计算sample_weight 数组。

将以下行添加到您的代码中：

sample_wts = compute_sample_weight("balanced", training_targets)
training_log_loss = metrics.log_loss(training_targets, training_probabilities, sample_weight= sample_wts)

希望这会有所帮助！