Keras 模型训练精度在训练时急剧下降

Question

我正在使用 Keras 训练基于深度 CNN 的神经网络，直到第 16 个 epoch 的训练准确度为 90%。它在第 17 个 epoch 大幅下降到 40%，然后在下一个 epoch 下降到 3%，并保持不变，直到训练结束。是什么原因造成的？

这是我的模型架构：

## input layer
input_layer = Input((S, S, L, 1))

## convolutional layers
conv_layer1 = Conv3D(filters=8, kernel_size=(3, 3, 7), activation='relu', padding = 'same')(input_layer)
conv_layer2 = Conv3D(filters=16, kernel_size=(3, 3, 5), activation='relu', padding = 'same')(conv_layer1)
conv_layer3 = Conv3D(filters=32, kernel_size=(3, 3, 3), activation='relu', padding = 'same')(conv_layer2)
print(conv_layer3._keras_shape)
conv3d_shape = conv_layer3._keras_shape
conv_layer3 = Reshape((conv3d_shape[1], conv3d_shape[2], conv3d_shape[3]*conv3d_shape[4]))(conv_layer3)
conv_layer4 = Conv2D(filters=64, kernel_size=(3,3), activation='relu')(conv_layer3)

flatten_layer = Flatten()(conv_layer4)

## fully connected layers
dense_layer1 = Dense(units=256, activation='relu')(flatten_layer)
dense_layer1 = Dropout(0.4)(dense_layer1)
dense_layer2 = Dense(units=128, activation='relu')(dense_layer1)
dense_layer2 = Dropout(0.4)(dense_layer2)
output_layer = Dense(units=output_units, activation='softmax')(dense_layer2)

我将添加训练的截图：

training-screenshot

对此，我有两个问题：

1. 发生这种情况的可能原因是什么？
2. 我怀疑信息可能不正确。我已经设置了一个检查点，所以只会保存最好的权重。训练模型大约需要 16 个小时。有没有办法我仍然可以获得最后一个时期的训练权重，即在检查点仍然存在时不是最好的权重？

Answer 1

1. 你的损失在第 17 个 epoch 是 nan
2. 除了从保存的重量中加载之外，不可能恢复重量