如何使用 PyTorch 将数据从一个目录拆分为训练集和测试集？

Question

我有一个数据文件夹，其中没有将数据拆分为训练和测试文件夹。如何将数据拆分为训练集和测试集？标签来自文件的名称，因此该顺序的任何更改都必须包含标签。我想在使用 ImageFolder 之前拆分数据，以便可以在训练和测试数据集上完成不同的转换。

train_transforms = transforms.Compose([transforms.RandomRotation(10),
                                       transforms.RandomResizedCrop(224),
                                       transforms.RandomHorizontalFlip(),
                                       transforms.ToTensor(),
                                       transforms.Normalize([0.485, 0.456, 0.406], 
                                                            [0.229, 0.224, 0.225])])

test_transforms = transforms.Compose([transforms.Resize(256),
                                      transforms.CenterCrop(224),
                                      transforms.ToTensor(),
                                      transforms.Normalize([0.485, 0.456, 0.406], 
                                                           [0.229, 0.224, 0.225])])

train_image_dataset =  datasets.ImageFolder(data_dir, transform=train_transforms)

test_image_dataset = datasets.ImageFolder(data_dir, transform=test_transforms)

train_dataloader = torch.utils.data.DataLoader(train_image_dataset, batch_size=64, shuffle=True)

test_dataloader = torch.utils.data.DataLoader(test_image_dataset, batch_size=32)

Answer 1

我认为您正在寻找的是 Cross-Validation ，请查看answer。您可以添加带有标签的列，然后应用任何交叉验证方法来拆分为测试和训练。