TensorFlow dataset.shuffle() 与 repeat() 和 batch() 一起使用时的行为

Question

这究竟会做什么？

dataset = tf.data.Dataset.from_tensor_slices([0, 0, 0, 1, 1, 1, 2, 2, 2])
dataset.shuffle(buffer_size=5).repeat().batch(3)

我注意到了几个相关的问题，但没有一个能完全回答我的担忧。我对shuffle(buffer_size) 在做什么感到困惑。我知道它将需要 5 个第一个示例 [0, 0, 0, 1, 1] 进入内存，但是接下来它会用这个缓冲区做什么呢？以及这个缓冲区如何与repeat() 和batch() 交互？

Answer 1

shuffle 的工作方式很复杂，但您可以假装它可以工作，首先填充大小为 buffer_size 的缓冲区，然后每次请求一个元素时，在该缓冲区中采样一个均匀随机的位置并用一个新元素替换它.

在洗牌前进行批处理意味着您将对预先制作的小批次进行洗牌（因此小批本身不会改变，只会改变它们的顺序），而在洗牌后进行批处理则可以让您随机更改批次的内容。同样，在洗牌前重复意味着您将洗牌一个无限流示例（因此第二个时期将与第一个时期具有不同的顺序），而在洗牌后重复意味着您将在每个时期中始终看到相同的示例。