训练期间未加载所有训练样本

【问题标题】：All training samples are not loading during training训练期间未加载所有训练样本
【发布时间】：2020-07-22 20:34:30
【问题描述】：

我刚开始学习 NLP。我从 tensorflow_datasets 加载了“imdb_reviews”数据集。

有 25000 个测试样本，但是当我运行时，我只训练了 782 个样本。如您所见，我没有使用batch_size，只是一次加载了整个数据集

其他超参数是：

vocab_size = 10000
input_length = 120
embedding_dims = 16

谁能告诉我我做错了什么？

【问题讨论】：

【解决方案1】：

默认情况下，tf.keras.model 的 fit 方法会将批量大小设置为 32。 https://www.tensorflow.org/api_docs/python/tf/keras/Model

由于 32*782 = 25,024，它可能只是丢弃了最后一批。

【讨论】：

我从 courcera 的“Tensorflow in practice”中学到了这一点，对他们来说，它一次运行了所有 25000 张图像。
它正在为所有 25000 运行，但它正在分批运行。您可以将 batch_size 设置为 1，您会看到它运行 25000（ish）批次的 1 个样本。将 batch_size 设置为 2，它将运行 12500 批 2 个样本等。这是运行 782 批 32 个样本。