通过 tf.data.Dataset 将大型 numpy 数组输入 TensorFlow 估计器

Question

TensorFlow 的 tf.data.Dataset documentation on consuming numpy arrays 指出，为了将 numpy 数组与 Dataset API 结合使用，数组必须足够小（总共

但是，如果您将Dataset 与估算器结合使用（占位符不可用），则文档没有提供处理没有占位符的大型数组的解决方案。

是否有其他选项可以将占位符值传递到可以使用的估算器中，或者是提供tfrecord 或csv 格式数据的解决方案？

Answer 1

您可以在创建数据集对象之前使用np.split 和from_generator。

chunks = list(np.split(array, 1000))

def gen():
    for i in chunks:
        yield i

dataset = tf.data.Dataset.from_generator(gen, tf.float32)
dataset = dataset.shuffle(shuffle_buffer_size)
...

您可以通过随机播放来控制数据集的大小。它一次只会加载指定的数量。