二进制分类 - BCELoss 和模型输出大小不对应

Question

我正在做一个二元分类，因此我使用了二元交叉熵损失：

criterion = torch.nn.BCELoss()

但是，我收到一个错误：

Using a target size (torch.Size([64, 1])) that is different to the input size (torch.Size([64, 2])) is deprecated. Please ensure they have the same size.

我的模型以：

结尾

    x = self.wave_block6(x)
    x = self.sigmoid(self.fc(x))
    return x.squeeze()

我尝试移除挤压，但无济于事。我的批量大小是 64。似乎我在这里做错了一些简单的事情。我的模型是否提供 1 个输出和预期 2 个输入的 BCE 损失？那我应该使用哪个损失？

Answer 1

二元交叉熵损失 (BCELoss) 用于二元分类任务。因此，如果 N 是您的批量大小，则模型输出的形状应为 [64, 1]，而标签的形状必须为 [64]。因此，只需在第二维压缩输出并将其传递给损失函数 - 这是一个最小的工作示例

import torch
a = torch.randn((64, 1))
b = torch.randn((64))
loss = torch.nn.BCELoss()

b = torch.round(torch.sigmoid(b)) # just to create some labels
a = torch.sigmoid(a).squeeze(1)
l = loss(a, b)

更新 - 基于 cmets 中的对话，focal loss 可以定义如下 -

class focalLoss(nn.Module):
    def __init__(self, alpha=0.25, gamma=3):
        super(focalLoss, self).__init__()
        self.alpha = alpha
        self.gamma = gamma

    def forward(self, pred_logits: torch.Tensor, target: torch.Tensor):
        batch_size = pred_logits.shape[0]
        pred = pred.view(batch_size, -1)
        target = target.view(batch_size, -1)
        pred = pred_logits.sigmoid()
        ce = F.binary_cross_entropy(pred_logits, target, reduction='none')
        alpha = target * self.alpha + (1. - target) * (1. - self.alpha)
        pt = torch.where(target == 1, pred, 1 - pred)
        return alpha * (1. - pt) ** self.gamma * ce