【发布时间】:2017-02-14 03:18:17
【问题描述】:
我在磁盘上保存了大量 NumPy 数组。我想在培训的同时高效地阅读它们。我无法一次将它们全部加载到内存中 - 数据集太大。 此外,动态应用一些用户定义的转换会很好。如果能够从 C++ 中读取它们,而不仅仅是 Python,那就太好了。
我相信 CNTK 现在没有这个能力,对吗?
【问题讨论】:
我在磁盘上保存了大量 NumPy 数组。我想在培训的同时高效地阅读它们。我无法一次将它们全部加载到内存中 - 数据集太大。 此外,动态应用一些用户定义的转换会很好。如果能够从 C++ 中读取它们,而不仅仅是 Python,那就太好了。
我相信 CNTK 现在没有这个能力,对吗?
【问题讨论】:
目前,我们没有内置的 numpy 阅读器。但是,您有多种选择:
批量读取 numpy 数据并将其提供给训练器,这里是一个将图像读入 numpy 数组并将其提供给训练器的示例: https://github.com/Microsoft/FERPlus
你的 numpy 数组中的数据是什么?你能把它转换成 CNTK 阅读器可读的格式吗?
【讨论】: