了解 PyTorch 训练批次

Question

阅读 https://stanford.edu/~shervine/blog/pytorch-how-to-generate-data-parallel 和 https://discuss.pytorch.org/t/how-does-enumerate-trainloader-0-work/14410 我试图了解训练时期在 PyTorch 中的表现。

采取这个外循环和内循环：

for epoch in range(num_epochs):
    for i1,i2 in enumerate(training_loader):

这是正确的解释吗？

对于外部循环/epoch 的每次调用，整个训练集，在上面的示例中，training_loader 是每批次迭代的。这意味着模型不会在每个训练周期处理一个实例。每个训练周期 (for epoch in range(num_epochs):) 整个训练集都以块/批次的形式处理，其中批次大小在创建 training_loader 时确定。

Answer 1

torch.utils.data.DataLoader 返回一个迭代数据集的可迭代对象。

因此，以下 -

training_loader = torch.utils.data.DataLoader(*args)
for i1,i2 in enumerate(training_loader):

  #process

在数据集上完全分批运行一个。