1。 TensorFlow 数据集
由于TF2.0,建议使用tf.data API 和tf.keras。 tf.data.Dataset 作为上述内容的一部分,您可以通过 map 调用轻松对数据进行各种操作,例如图像增强(例如旋转/移位)(您可以找到其他可能性 in the documentation)。
Tensorflow Datasets 是 Tensorflow 生态系统的一部分,可让您更轻松地下载数据(存在各种现成的数据集,包括 Fashion MNIST,see here 以获取可用选项)并将其放入 tf.data.Dataset已经形成了。
使用这个sn-p:
import tensorflow_datasets as tfds
train, test = tfds.load("fashion_mnist", as_supervised=True)
将下载数据并自动将其拆分为test 和train(与 Keras 等价物相同,但数据类型除外)。
您可以创建自己的数据集构建器,但通常调用 tfds.load 就足以进行标准操作。
自定义拆分
现在,如果您想要不同的拆分(不是默认的60000 训练和10000 测试),您可以使用tfds.Split 对象定义它。默认情况下,每个提供的数据集(因此包括您的 Fashion MNIST)都提供默认的tfds.Split.TRAIN 和tfds.Split.TEST(有些还提供tfds.Split.VALID)。
这些默认拆分可以通过各种方式进一步划分为子部分:
将TEST 或TRAIN 之一拆分为N 部分。下面的代码只会从 TRAIN 中下载 30.000 张图片,从 test 中下载 5.000 张图片:
import tensorflow_datasets as tfds
train_half_1, train_half_2 = tfds.Split.TRAIN.subsplit(2)
test1, test2, test3, test4 = tfds.Split.TEST.subsplit(4)
train_first_half = tfds.load("fashion-mnist", split=train_half_1)
test_second_quarter = tfds.load("fashion-mnist", split=test2)
以类似的方式,您可以获取每个拆分的N 百分比:
first_10_percent = tfds.Split.TRAIN.subsplit(tfds.percent[:10])
或者您甚至可以合并拆分以获得更多这样的数据(您可以根据自己的喜好进一步拆分这些数据:
train_and_test = tfds.Split.TRAIN + tfds.Split.TEST
2。凯拉斯
Keras 以numpy 格式加载数据,虽然不建议这样做,也不允许使用简单的map 执行许多操作,但您可以使用standard Python's slicing notation 拆分这些操作:
import tensorflow as tf
fashion_mnist = tf.keras.datasets.fashion_mnist
(X_train, y_train), (X_test, y_test) = fashion_mnist.load_data()
# First 10.000 elements from train
X_train_subset = X_train[:10000]
# Elements from 1000 to 5000 from test labels
y_test_subset = y_test[1000:5000]
# Elements from 8500 to the end of test data
X_test_subset = X_test[8500:]
另一方面,对于某些应用程序(尤其是非标准应用程序),使用 numpy 数组而不是 tf.data.Dataset 可能更方便,因此您可以自行选择。