多标签分类在每个标签中返回超过 1 个类

Question

当每个标签应该返回超过 1 个类别时，如何训练多标签分类模型？ 例子： 图像分类有 2 个标签：4 类的样式和 5 类的布局。 列表中的图像应返回 2 种样式和 3 种布局，例如 [1 0 1 0] [1 1 0 0 1]

我的样品网：

class MyModel(nn.Module):
def __init__(self, n__classes=32):
    super().__init__()
    self.base_model = models.resnet50(pretrained=True).to(device)
    last_channel = self.base_model.fc.in_features
    self.base_model.fc = nn.Sequential()
    
    self.layout = nn.Sequential(
        nn.Dropout(0.2),
        nn.Linear(last_channel, n_classes_layout),
        nn.Sigmoid()
    )
    self.style = nn.Sequential(
        nn.Dropout(0.2),
        nn.Linear(last_channel, n_classes_style),
        nn.Sigmoid()
    )
def forward(self, x):
    base = self.base_model(x)
    return self.layout(base), self.style(base)

def loss_fn(outputs, targets):
    o1, o2 = outputs
    t1, t2 = targets

Answer 1

我不确定您所指的标签是什么，但您似乎有一个多输出模型一方面预测 style，另一方面预测 layout。因此，我假设您正在处理具有两个“独立”输出的多任务网络，这些输出分别使用两个损失项进行监督。

考虑这两个之一：您可以将此多标签分类任务视为输出n 值，每个值估计相应标签出现在输入中的概率。在您的第一个任务中，您有四个班级，在第二个任务中，您有五个班级。

与单标签分类任务不同，在这里您希望每个标签输出一个激活：您可以使用每个 logit 的 sigmoid 激活。然后对每个输出应用二元交叉熵损失。在 PyTorch 中，您可以使用 BCELoss，它处理多维张量。在实践中，您可以连接两个任务的两个输出，对目标标签执行相同操作并调用标准一次。