Julia Flux 中的等效数据集

Question

我想使用 Flux 来训练音频文件的深度学习模型。在 Flux 文档中，他们将整个数据数组（包括所有示例）传递给数据加载器，该数据加载器将为 train!() 函数提供批处理列表。关键是我的系统内存不足，无法一次加载所有音频文件。

在 PyTorch 中，dataloader 将由 dataset 对象提供，该对象具有在 __getitem__() 方法上一次打开一个文件的逻辑。

那么，在 Flux/Julia 中实现它的正确方法是什么，Torch 数据集等价物是什么？

Answer 1

我在 Julia discourse 论坛上找到了这个帖子，基本上涵盖了我在这个问题中提出的问题。

https://discourse.julialang.org/t/pytorch-dataloader-equivalent-for-training-large-models-with-flux/30763

根据该主题的一些建议，有一个包MLDataUtils.jl，它提供与nobs() 和getobs() 函数类似的功能。