Tensorflow 在每个 epoch 结束时卡住了几秒钟

Question

我正在通过 TFRecordDataset 训练神经网络。但是，在每个 epoch 结束时，即使用ETA: 0s，训练会卡住数十秒。作为参考，在大约 25GB 的数据集上完成一个 epoch 大约需要一分钟（在解析特征子集之前）。

我正在使用 Nvidia Titan RTX GPU 运行 TensorFlow 2.3.1。这是预期的行为吗？也许是由于输入管道中的预处理？该预处理是仅由 CPU 执行还是卸载到 GPU 上？谢谢！

Answer 1

如果您有一个验证集并且您正在使用model.fit()，那么这可能是计算损失和指标所需的时间。在大多数情况下，计算 80/20 分割的指标需要额外的 25%。