在训练期间评估模型会影响其性能 PyTorch

Question

在PyTorch 中，我想在训练期间每隔eval_step 在验证集上评估我的模型，我编写了这样的代码：

def tune(model, loader_train, loader_dev, optimizer, epochs, eval_step):
    for epoch in range(epochs):
        for step,x in enumerate(loader_train):
            optimizer.zero_grad()
            loss = model(x)
            loss.backward()
            optimizer.step()
            
            if step % eval_step == 0:
                model.eval()
                test(model, loader_dev)
                model.train()

当eval_step = int(len(loader_train)/2) 和eval_step = int(len(loader_train)/8) 时，在整个 epoch 训练后会导致完全不同的度量结果（这意味着前者的第二个输出与后者的第八个输出不同）。

谁能解释一下原因？

---

loader_train 的长度为 20000（取决于批量大小），这是我的测试脚本：

def test(model, loader_dev):
    preds = []
    labels = []
    for step,x in enumerate(loader_dev):
        preds.append(model(x).view(-1))
        labels.apend(x['label'].view(-1))

    metric = cal_metric(preds, labels)
    logger.info(metric)

Answer 1

我认为您可能在数据加载器中设置了“shffule=True”。即使您修复了“随机种子”，如果您在使用当前数据加载器时使用另一个数据加载器，torch 中的数据加载器也会产生不同的结果。在您描述的场景中，可能会导致您的模型以不同的顺序获取数据输入，从而导致不同的度量结果。