用 keras 训练一个巨大的模型

Question

我需要训练一个包含超过 40 万张图像的初始模型。

我知道我无法将它全部加载到内存中，因为它太大了。 所以，我肯定会在批次上训练它，而不是 epoch （因此从磁盘生成每个批次的负载） 但是，它会很慢，不是吗？

你知道是否有不同的方法吗？

我还想在训练期间对我的图像应用不同且随意的变换。 我查看了 dataimagegenerator 类，但是它与我拥有的所有图像都不兼容。 那么，有没有办法在没有生成器的情况下做到这一点？

谢谢你！

Answer 1

您可以使用模型的fit_generator 方法（https://keras.io/models/model/#fit_generator）。这仍然从内存中加载图像，但是这是并行完成的并且开销较小。您可以编写自己的生成器来应用您想要的转换 (https://wiki.python.org/moin/Generators)。

如果您需要更快的内存访问，您可以查看 hdf5。您可以将图像存储在 hdf5 中，以便为您的程序提供更快的索引和加载。 (http://www.h5py.org/)