Keras：从 HDF5 和 CSV 加载小批量

Question

我有一个大数据集，太大而无法放入 RAM，它可以作为 HDF5 或 CSV 使用。我怎样才能将它以小批量的方式输入 Keras？另外，这会为我洗牌，还是我需要预先洗牌数据集？

（当输入是 Numpy recarray 时，我也对此感兴趣；因为我相信 Keras 希望输入是 ndarray。）

而且，如果我想在学习之前在 Keras 中进行一些轻量级的预处理（例如，将一些 Python 函数应用于数据以更改表示），可以添加吗？

Answer 1

在此处查看适用于 Keras 的 fit_generator 方法：https://keras.io/models/sequential/#sequential-model-methods 它适合模型由 Python 生成器逐批生成的数据（您可以在其中编写混洗逻辑，因为生成器在您的控制之下）。

您可以在生成器本身内应用调用预处理。

希望这会有所帮助。