tf.estimator.Estimator 给出不同的测试精度

Question

我已经为 tf.estimator.Estimator 定义了一个简单的 CNN 作为我的 model_fn，并用这个 input_fn 提供给它：

def input_fn(features, labels, batch_size, epochs):
    dataset = tf.data.Dataset.from_tensor_slices((features))
    dataset = dataset.map(lambda x: tf.cond(tf.random_uniform([], 0, 1) > 0.5, lambda: dataset_augment(x), lambda: x),
                          num_parallel_calls=16).cache()
    dataset_labels = tf.data.Dataset.from_tensor_slices((labels))
    dataset = dataset.zip((dataset, dataset_labels))
    dataset = dataset.shuffle(30000)
    dataset = dataset.repeat(epochs)
    dataset = dataset.batch(batch_size)
    dataset = dataset.prefetch(-1)
    return dataset

当我以这种方式训练估计器时，我在 10 个 epoch 后获得了 43% 的测试准确率：

steps_per_epoch = data_train.shape[0] // batch_size
for epoch in range(1, epochs + 1):
    cifar100_classifier.train(lambda: input_fn(data_train, labels_train, batch_size, epochs=1), steps=steps_per_epoch)

但是当我以这种方式训练它时，我在 10 个 epoch 后获得了 32% 的测试准确率：

steps_per_epoch = data_train.shape[0] // batch_size
max_steps = epochs * steps_per_epoch
cifar100_classifier.train(steps=max_steps,
                              input_fn=lambda: input_fn(data_train, labels_train, batch_size, epochs=epochs))

我只是不明白为什么这两种方法会产生不同的结果。谁能解释一下？

Answer 1

由于您在第一个示例中多次调用input_fn，因此您似乎将通过dataset_augment(x) 生成更多增强数据，因为您正在为每个x 每个时期进行增强硬币投掷。

在第二个示例中，您只需掷硬币一次，然后在同一数据上训练多个 epoch。所以这里你的训练集实际上是“更小”。

在第一个示例中，.cache() 并没有真正让您摆脱这种情况。

Answer 2

你的模型的权重是随机初始化的吗？这可能是一种情况。