训练期间的准确度为 10%，但是在训练数据上使用相同模型的预测仅给出 3.5% 的准确度

Question

我正在使用低于 100 次迭代/epochs 的代码训练 VGG16 block5，在 block5 的输出之后添加两个密集层和 dropout 层。

seq = Sequential()
vgg_base = VGG16(weights='imagenet', input_shape=(224, 224, 3),include_top=False, pooling='avg')
seq.add(vgg_base)


for layer in vgg_base.layers:
    layer.trainable = False
for layer in vgg_base.layers[:14]:
    layer.trainable = False
for layer in vgg_base.layers[15:]:
    layer.trainable = True
    
regularizer = tf.keras.regularizers.l2(1e-2)

for layer in vgg_base.layers[15:]:
    for attr in ['kernel_regularizer']:
        if hasattr(layer, attr):
          setattr(layer, attr, regularizer)

vgg_base.summary()
#seq.add(Flatten())

input_a = Input(shape=(224, 224, 3))

out_a = seq(input_a)

hidden1 = Dense(128, activation='relu', name='dense_1', kernel_regularizer=tf.keras.regularizers.l2(0.001),
                              activity_regularizer=tf.keras.regularizers.l2(0.001))(out_a)
hidden_drp1 = Dropout(0.5)(hidden1)
hidden2 = Dense(32, activation='relu', name='dense_2',kernel_regularizer=tf.keras.regularizers.l2(0.001),
                              activity_regularizer=tf.keras.regularizers.l2(0.001))(hidden_drp1)
hidden_drp2 = Dropout(0.2)(hidden2)
out = Dense(1, activation='sigmoid', name='dense_3')(hidden_drp2)

model = Model(input_a, out)

训练设置：

if os.path.exists(filepath):
     print('weights found... loading...')
     model.load_weights(filepath)

train_datagen = ImageDataGenerator(rescale=1.0/255)
                                   #,validation_split=0.4)
#        validation_split=0.3) # set validation split

train_path = 'C:/fromtrainv4/'

train_set = train_datagen.flow_from_directory(
    train_path,
    target_size=(224,224),
    shuffle=True,
    color_mode='rgb',
    batch_size=100,
    class_mode='binary')
optim = Adam(lr=0.001)
loss = 'binary_crossentropy'
metrics = ['binary_accuracy', 'acc']

model.compile(loss=loss,
              optimizer=optim,
              metrics=metrics)

checkpoint = ModelCheckpoint(filepath,
                             monitor='loss',
                             verbose=1,
                             save_weights_only=False,
                             save_best_only=True,
                             mode='min')

my_callback = [tf.keras.callbacks.EarlyStopping(monitor='loss', patience=10),
               checkpoint,tf.keras.callbacks.TensorBoard(log_dir='C:\\traning_logs\\')]
step_size_train = train_set.n//train_set.batch_size
history = model.fit_generator(train_set,
                             steps_per_epoch=step_size_train,
                             shuffle=False,
                             epochs=100,
                             callbacks=my_callback,
                             class_weight='balanced')

我已确保数据与 image_generator 和其他所有数据具有相同的缩放比例。 我使用下面的代码加载模型：

from tensorflow.keras.models import load_model
model = load_model('C:/models/model.h5')

系统规格：

Processor: Intell Xeon
Ram: 16GB
GPU: NVIDIA RTX 2080 Super
Memory: M2. 256GB

Interpreter: Spyder Python 3.7.1
tensorflow version: 1.14.0
keras version: 2.3.1

有人可以指导我做错了什么。如果需要更多相关信息，请告诉我。

Answer 1

我猜你的模型正在做所谓的“过度拟合”。

简而言之，通过对同一数据集进行 100 次训练迭代，它可以牢记您的训练数据集，因此在对其进行测试时会获得良好的结果。但是，它还没有为您的问题找到通用答案，这会导致在使用具有不同输入的新数据集进行测试时结果较低。