Tensorflow 是否跟踪训练/验证拆分？答案

【问题标题】：Does Tensorflow keep track of train/validation split?Tensorflow 是否跟踪训练/验证拆分？
【发布时间】：2021-12-29 16:31:05
【问题描述】：

Tensorflow 中有一个有用的实用程序函数，它可以非常简单地将由图像组成的数据集加载为 Tensorflow 数据集，即tf.keras.utils.image_dataset_from_directory。

在教程at this page here中，依次执行以下操作以获得训练和验证数据集：

train_ds = tf.keras.utils.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="training",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)
val_ds = tf.keras.utils.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="validation",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)

我的问题是：Tensorflow 是否会跟踪哪些图像放置在训练数据集中，以免意外地为验证集选择相同的图像？还是有重复的？

【问题讨论】：

我认为如果数据集中没有任何重复项。查看文档：tensorflow.org/api_docs/python/tf/keras/utils/…

标签： image tensorflow keras

【解决方案1】：

“validation_split”按索引顺序将数据分成 2 类。即前 80% 的数据将在 train_ds 中，其余 20% 的数据将在 test_ds 中。

=> 是的，如果您在 test_ds 中使用超过 20% 的 validation_split 值，则可能出现重复。

【讨论】：