PyTorch：使用 torchvision.datasets.ImageFolder 和 DataLoader 进行测试答案

【问题标题】：PyTorch: Testing with torchvision.datasets.ImageFolder and DataLoaderPyTorch：使用 torchvision.datasets.ImageFolder 和 DataLoader 进行测试
【发布时间】：2018-08-10 22:39:43
【问题描述】：

我是一个新手，试图让这个 PyTorch CNN 与 Cats&Dogs dataset from kaggle 一起工作。由于测试图像没有目标，我手动对一些测试图像进行分类并将类放在文件名中，以便能够进行测试（可能应该只使用一些训练图像）。

我使用了 torchvision.datasets.ImageFolder 类来加载训练和测试图像。培训似乎奏效了。

但是我需要做什么才能使测试例程正常工作？我不知道，如何通过 test_x 和 test_y 将我的 test_data_loader 与底部的测试循环连接起来。

代码基于this MNIST example CNN. 那里，类似这样的东西在加载器创建后立即使用。但我未能为我的数据集重写它：

test_x = Variable(torch.unsqueeze(test_data.test_data, dim=1), volatile=True).type(torch.FloatTensor)[:2000]/255.   # shape from (2000, 28, 28) to (2000, 1, 28, 28), value in range(0,1)
test_y = test_data.test_labels[:2000]

代码：

import os
import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
import torch.utils.data as data
import torchvision
from torchvision import transforms

EPOCHS = 2
BATCH_SIZE = 10
LEARNING_RATE = 0.003
TRAIN_DATA_PATH = "./train_cl/"
TEST_DATA_PATH = "./test_named_cl/"
TRANSFORM_IMG = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(256),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                         std=[0.229, 0.224, 0.225] )
    ])

train_data = torchvision.datasets.ImageFolder(root=TRAIN_DATA_PATH, transform=TRANSFORM_IMG)
train_data_loader = data.DataLoader(train_data, batch_size=BATCH_SIZE, shuffle=True,  num_workers=4)
test_data = torchvision.datasets.ImageFolder(root=TEST_DATA_PATH, transform=TRANSFORM_IMG)
test_data_loader  = data.DataLoader(test_data, batch_size=BATCH_SIZE, shuffle=True, num_workers=4) 

class CNN(nn.Module):
    # omitted...

if __name__ == '__main__':

    print("Number of train samples: ", len(train_data))
    print("Number of test samples: ", len(test_data))
    print("Detected Classes are: ", train_data.class_to_idx) # classes are detected by folder structure

    model = CNN()    
    optimizer = torch.optim.Adam(model.parameters(), lr=LEARNING_RATE)
    loss_func = nn.CrossEntropyLoss()    

    # Training and Testing
    for epoch in range(EPOCHS):        
        for step, (x, y) in enumerate(train_data_loader):
            b_x = Variable(x)   # batch x (image)
            b_y = Variable(y)   # batch y (target)
            output = model(b_x)[0]          
            loss = loss_func(output, b_y)   
            optimizer.zero_grad()           
            loss.backward()                 
            optimizer.step()

            # Test -> this is where I have no clue
            if step % 50 == 0:
                test_x = Variable(test_data_loader)
                test_output, last_layer = model(test_x)
                pred_y = torch.max(test_output, 1)[1].data.squeeze()
                accuracy = sum(pred_y == test_y) / float(test_y.size(0))
                print('Epoch: ', epoch, '| train loss: %.4f' % loss.data[0], '| test accuracy: %.2f' % accuracy)

【问题讨论】：

标签： python pytorch

【解决方案1】：

查看来自 Kaggle 的数据和您的代码，您的数据加载似乎存在问题，无论是训练集还是测试集。首先，数据应该在每个标签的不同文件夹中，以便默认 PyTorch ImageFolder 正确加载。在您的情况下，由于所有训练数据都在同一个文件夹中，PyTorch 将其作为一个类加载，因此学习似乎正在发挥作用。您可以通过使用像 -train/dog、-train/cat、-test/dog、-test/cat 这样的文件夹结构来更正此问题，然后分别将 train 和 test 文件夹传递给 train 和 test ImageFolder。培训代码似乎很好，只需更改文件夹结构就可以了。看看ImageFolder的官方文档，里面有类似的例子。

【讨论】：

如果我将所有图像放在一个文件夹中，并且我希望通过我拥有的 CSV 文件设置类怎么办？我该怎么办？
@Royi 我认为还没有任何直接的方法可以做到这一点（据我所知）。但是您可以扩展数据集类并这样做。这是来自官方PyTorch tutorial 的示例。您可以修改它并删除多余的东西，它应该可以正常工作。让我知道这是否适合您。

【解决方案2】：

根据上面@Monster 的评论，这里是我的 ImageFolder 文件夹结构

这就是我加载数据集的方式：

    train_dataset=datasets.ImageFolder(root="./root/",transform=train_transforms)

【讨论】：