Tensorflow model.evaluate 给出的结果与从训练中获得的结果不同

Question

我正在使用tensorflow做一个多类分类

我通过以下方式加载训练数据集和验证数据集

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="training",
  shuffle=True,
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)

val_ds = tf.keras.preprocessing.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="validation",
  shuffle=True,
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)

然后当我使用 model.fit() 训练模型时

history = model.fit(
  train_ds,
  validation_data=val_ds,
  epochs=epochs,
  shuffle=True
)

我的验证准确率约为 95%。

但是当我加载相同的验证集并使用 model.evaluate()

model.evaluate(val_ds)

我的准确率非常低（大约 10%）。

为什么我会得到如此不同的结果？我是否错误地使用了 model.evaluate 函数？

注意：在 model.compile() 我指定以下内容， 优化器 - 亚当， 损失 - SparseCategoricalCrossentropy， 指标 - 准确度

Model.evaluate() 输出

41/41 [==============================] - 5s 118ms/step - loss: 0.3037 - accuracy: 0.1032
Test Loss -  0.3036555051803589
Test Acc -  0.10315627604722977

最后三个时期的 Model.fit() 输出

Epoch 8/10
41/41 [==============================] - 3s 80ms/step - loss: 0.6094 - accuracy: 0.8861 - val_loss: 0.4489 - val_accuracy: 0.9483
Epoch 9/10
41/41 [==============================] - 3s 80ms/step - loss: 0.5377 - accuracy: 0.8953 - val_loss: 0.3868 - val_accuracy: 0.9554
Epoch 10/10
41/41 [==============================] - 3s 80ms/step - loss: 0.4663 - accuracy: 0.9092 - val_loss: 0.3404 - val_accuracy: 0.9590

Answer 1

尝试将您的模型保存为 .h5 而不是 .tf - 这在 Keras 2.4.0 和 tensorflow 2.4.0 中对我有用

Answer 2

为什么我会得到如此不同的结果？我在使用模型吗。评估 功能不正常？

我想是过度拟合导致了这个问题。您可以通过这种方式查看它们！

---

1. 提取模型历史

   history_dict = history.history
   history_dict.keys()
   

2. 可视化历史

   import matplotlib.pyplot as plt    
   acc=history_dict['accuracy']
   val_acc=history_dict['val_accuracy']
   loss=history_dict['loss']
   val_loss=history_dict['val_loss']
   
   epochs=range(1,len(acc)+1)    
   plt.figure(figsize=(10,10))
   
   ax1=plt.subplot(221)
   ax1.plot(epochs,loss,'bo',label='Training loss')
   ax1.plot(epochs,acc,'ro',label='Training acc')
   ax1.set_title('loss and acc of Training')
   ax1.set_xlabel('Epochs')
   ax1.set_ylabel('Loss')
   ax1.legend()
   
   ax2=plt.subplot(222)
   ax2.plot(epochs,val_acc,'r',label='Validation acc')
   ax2.plot(epochs,val_loss,'b',label='Validation loss')
   ax2.set_title('loss and acc of Training')
   ax2.set_xlabel('Epochs')
   ax2.set_ylabel('Acc')
   ax2.legend()
   

---

也许，你得到的结果是这样的：

• 在训练过程中，acc 和 loss 随 epochs 而变化
• 但在验证中，acc 和 loss 似乎在 20 个 epoch 后达到峰值

解决方案

事实证明，当发生过拟合时，可以设置更少的epoch来避免这个问题！