自定义 DataGenerator tensorflow 错误“ValueError：无法找到可以处理输入的数据适配器”

Question

我有一个 2 通道 imagelike 文件，我从中切割补丁作为卷积自动编码器的训练/验证数据集。我正在使用 TensorFlow 的自定义数据生成器为每个批次和时期使用不同的数据。

这是我的CustomDataGenerator 课程：

class CustomDataGenerator(tf.keras.utils.Sequence):

    def __init__(self, file, sample_size, batch_size=32, width=28, height=28, resolution=(28, 28)):
        'Initialization'
        self.sample_size = sample_size
        self.batch_size = batch_size
        self.resolution = resolution
        self.width = width
        self.height = height


    def __len__(self):
        'Denotes the number of batches per epoch'
        return int(np.floor(self.sample_size / self.batch_size))

    def __getitem__(self, index):
        'Generate one batch of data'

        batch = []
        for i in range(self.batch_size):
           ....

        x = np.asarray(batch)
        x = tf.transpose(x, [0, 2, 3, 1])
        return x, x

和培训代码：

...
    train_gen = data_generator.CustomDataGenerator(file=file, sample_size=10000)
    val_gen = data_generator.CustomDataGenerator(file=file, sample_size=2000)
    history = autoencoder.fit(train_gen, epochs=100, validation_data=val_gen)
...

当我运行它抛出的代码时：

ValueError: Failed to find data adapter that can handle input: <class 'data_generator.CustomDataGenerator'>, <class 'NoneType'>

在训练期间在model.fit 行中。

张量流 ==2.5.0，keras ==2.4.3

Answer 1

您的 __getitem__ 方法必须返回 X、Y 对。你为什么要返回 X, X？

然后将 train_gen 传递给 model.fit() 进行训练。该错误是由于您将 X 作为 Y 参数发送到您的 model.fit()

PS：你可以使用on_epoch_end。该函数将在每个 epoch 结束时被 fit 方法调用。