如何从 Tensorflow tf.data.Dataset 无休止地读取数据？

Question

我正在将旧数据层（使用队列）切换到“新”和推荐的数据集 API。我是第一次使用它，所以我提供了代码示例，以防我遇到根本错误。

我从一个生成器创建我的数据集（它将读取一个文件，并提供 n 个样本）。这是一个小数据集和 n_iterations >> n_samples，所以我只是想一遍又一遍地阅读这个数据集，最好是随机播放。

sample_set = tf.data.Dataset.from_generator( data_generator(filename),  
    (tf.uint8, tf.uint8), (tf.TensorShape([256,256,4]), tf.TensorShape([256,256,1]))
)

使用数据生成器：

class data_generator:
    def __init__(self, filename):
        self.filename= filename

    def __call__(self):
        with filename.open() as f:
           for idx in f: yield img[idx], label[idx]

为了实际使用数据，我知道我需要定义一个Iterator

sample = sample_set.make_one_shot_iterator().get_next()

然后我们就可以读取数据了

while True:
    try: my_sample = sess.run(sample)
    except tf.errors.OutOfRangeError: break   # this happens after dset is read once

但所有可用的迭代器似乎都是“有限的”，因为它们只读取数据集一次。

有没有一种简单的方法可以让数据集的读取无止境？

Answer 1

数据集有repeat 和shuffle 方法。

BUF_SIZE = 100 # choose it depending on your data
sample_set = tf.data.Dataset.from_generator( data_generator(filename),  
    (tf.uint8, tf.uint8), (tf.TensorShape([256,256,4]), 
    tf.TensorShape([256,256,1]))
).repeat().shuffle(BUF_SIZE)

Answer 2

如果您不将明确的count 传递给它，Dataset.repeat() 转换将无休止地重复数据集：

sample_set = tf.data.Dataset.from_generator(
    data_generator(filename), (tf.uint8, tf.uint8),
    (tf.TensorShape([256,256,4]), tf.TensorShape([256,256,1])))

# Repeats `sample_set` endlessly.
sample_set = sample_set.repeat()

sample = sample_set.make_one_shot_iterator().get_next()

Answer 3

reinitializable Iterator 可以在同一个数据集上重新初始化，所以这段代码会一遍又一遍地读取同一个数据集：

sample = tf.data.Iterator.from_structure(sample_set.output_types,
                                         sample_set.output_shapes).get_next()

sample_it.make_initializer(sample_set)     # create initialize op

with tf.Session(config=config) as sess:
    sess.run(sample_set_init_op)           # initialize in the beginning

    while True:
        try: 
             my_sample = sess.run(sample)
        except tf.errors.OutOfRangeError:
             sess.run(sample_set_init_op)  # re-initialize on same dataset