生成器 (ImageDataGenerator) 如何耗尽数据？

Question

让我们从一个包含 1000 张图片的文件夹开始。

现在，如果我们使用 no generator 和 batch_size = 10 和 steps_per_epoch = 100，我们将使用每张图片作为 10 * 100 = 1000。所以增加steps_per_epoche 将（正确地）导致错误：

tensorflow：你的输入数据用完了；中断训练。确保您的数据集或生成器至少可以生成 steps_per_epoch * epochs 个批次（在本例中为 10000 个批次）

另一方面，使用生成器会产生无穷无尽的图像：

datagenerator = ImageDataGenerator(
    rescale=1./255,
    shear_range=0.1,
    zoom_range=0.1,
    # ...
)

imageFlow = datagenerator.flow_from_directory(
        image_dir_with_1000_pcs,
        target_size=(150, 150),
        batch_size=10,
        class_mode='binary')

i = 0
for x, y in imageFlow:
  print(x.shape) # batch of images
  
  i += 1
  if i > 3000:
    break # I break, because it ENDLESSLY goes on otherwise

但是，如果我去跑步

history = model.fit(
      imageFlow,
      steps_per_epoch=101, # I increased this above 100!
      epochs=5,
      #...
)

我会得到同样的错误：为什么？ model.fit() 获得了一个生成器，因此获得了无穷无尽的批次。无休止的批处理怎么会耗尽数据？

在发布这个问题之前，我阅读了：

• TensorFlow ImageDataGenerator 等文档和
• 像Keras Data Augmentation with ImageDataGenerator (Your input ran out of data)这样的相对SO问题

Answer 1

生成器（ImageDataGenerator）如何耗尽数据？

据我所知，它会从生成器中创建一个tf.data.Dataset，它不会无限运行，这就是您在拟合时看到这种行为的原因。

如果它是一个无限数据集，那么您必须指定steps_per_epoch。

编辑：如果您不指定steps_per_epoch，那么训练将在number_of_batches >= len(dataset) // batch_size 时停止。它在每个时期都完成。

要检查引擎盖下到底发生了什么，您可以查看the source。可以看出，创建了一个tf.data.Dataset，它实际上处理了批处理和历元迭代。