获取 nan 作为损失值

Question

我使用paper 在 Pytorch 中实现了焦点损失。并遇到了损失问题 - 将 nan 作为损失函数值。

这是焦点损失的实现：

def focal_loss(y_real, y_pred, gamma = 2):
    y_pred = torch.sigmoid(y_pred)
    return -torch.sum((1 - y_pred)**gamma * y_real * torch.log(y_pred) +
                       y_pred**gamma * (1 - y_real) * torch.log(1 - y_pred))

我认为训练循环和我的 SegNet 可以正常工作，因为我已经用 dice 和 bce 损失对它们进行了测试。

我认为错误发生在反向传播中。为什么会这样？也许我的实现是错误的？

Answer 1

此版本正在运行：

def focal_loss(y_real, y_pred, eps = 1e-8, gamma = 0):
    probabilities = torch.clamp(torch.sigmoid(y_pred), min=eps, max=1-eps)
    return torch.mean((1 - probabilities)**gamma * 
           (y_pred - y_real * y_pred + torch.log(1 + torch.exp(-y_pred))))

Answer 2

这很可能是由于尝试计算 log(0)。

我建议像这样更改代码：

EPS = 1e-9
def focal_loss(y_real, y_pred, gamma = 2):
    y_pred = torch.sigmoid(y_pred)
    y_pred = torch.clamp(y_pred, EPS, 1. - EPS)
    return -torch.sum((1 - y_pred)**gamma * y_real * torch.log(y_pred) +
                       y_pred**gamma * (1 - y_real) * torch.log(1 - y_pred))