验证准确率远低于训练准确率

Question

我正在使用 MOSI 数据集进行多模态情感分析，目前我只为文本数据集训练模型。对于文本，我使用 300 尺寸的手套嵌入来处理文本。我的总词汇量为 2173，填充序列长度为 30。我的目标数组是 [0,0,0,0,0,0,1]，其中最左边是高度 -ve，最右边是高度 +ve。

我正在像这样拆分数据集

X_train, X_test, y_train, y_test = train_test_split(WDatasetX, y7, test_size=0.20, random_state=42)

我的标记化过程是

MAX_NB_WORDS = 3000
tokenizer = Tokenizer(num_words=MAX_NB_WORDS,oov_token = "OOV")
tokenizer.fit_on_texts(Text_X_Train)
tokenized_X_train = tokenizer.texts_to_sequences(Text_X_Train)
tokenized_X_test = tokenizer.texts_to_sequences(Text_X_Test)

我的嵌入矩阵：

vocab_size = len(tokenizer.word_index)+1
emb_mean=0
def embedding_matrix_filteration():
    all_embs = np.stack(list(embeddings_index.values()))
    print(all_embs.shape)
    emb_mean, emb_std = np.mean(all_embs), np.std(all_embs)
    print(emb_mean)
    embedding_matrix = np.random.normal(emb_mean, emb_std, (vocab_size, embed_dim)) gives the matrix of specified
                                                                    size filled with values from gauss distribution
    print(embedding_matrix.shape)
     print("length of word2id:",len(word2id))
    embeddedCount = 0
    not_found = []
    for word, idx in tokenizer.word_index.items():
        embedding_vector = embeddings_index.get(word.lower())
        if word == ' ':
            embedding_vector = np.zeros_like(emb_mean)
        if embedding_vector is not None: 
            embedding_matrix[idx] = embedding_vector
            embeddedCount += 1
        else:
            print(word)
            print("$$$")
    print('total embedded:',embeddedCount,'common words')# words common between glove vector and wordset
    print("length of word2id:",len(word2id))
    print(len(embedding_matrix))
    return embedding_matrix

emb = embedding_matrix_filteration()

模型架构：

嵌入层：

embedding_layer = Embedding(
    vocab_size,
    300,
    weights=[emb],
    trainable=False,
    input_length=sequence_length
)

我的模特：

from keras import regularizers,layers

model = Sequential()
model.add(embedding_layer)
model.add(Bidirectional(layers.LSTM(512,return_sequences=True)))
model.add(Bidirectional(layers.LSTM(512,return_sequences=True)))
model.add(Bidirectional(layers.LSTM(256,return_sequences=True)))
model.add(Bidirectional(layers.LSTM(256)))#kernel_regularizer=regularizers.l2(0.001)
model.add(Dense(128, activation='relu'))
# model.add(Dropout(0.2))
model.add(Dense(128, activation='relu'))
# model.add(Dropout(0.2))
model.add(Dense(7, activation='softmax'))

由于某种原因，当我的训练准确率达到 80% 时，val。准确率仍然很低。我尝试了不同的正则化技术、优化器、损失函数，但结果是一样的。我不知道为什么。

请帮忙！！

编辑：总数。代币数量为 2719 枚，总数为 2719 枚。句子（包括测试和训练数据集）是 2183。

Compiler: model.compile(optimizer='adam',         
loss='mean-squred-error',
metrics=['accuracy']
)

更新数据：

我已将标签大小从 7 减小到 3，即 [0,1,0] -> +ve、neutral ,-ve。

model = Sequential()
model.add(embedding_layer)
model.add(Bidirectional(layers.LSTM(16,activation='relu'))) 
model.add(Dropout(0.2))
model.add(Dense(3, activation='softmax'))

编译：

model.compile( 
optimizer=keras.optimizers.Adam(learning_rate=0.00005),
              loss='categorical_crossentropy',
              metrics = ['accuracy'])

图表：

培训：

但是损失仍然很高，而且我已经对数据集进行了分层。

Answer 1

几个建议：

1. 使用categorical_crossentropy而不是mean_squared_error，在分类时对你有很大帮助（虽然后者也可以，但前者也更好）。
2. 您的所有标签都是互斥的吗？如果是，则使用softmax + categorical_crossentropy，否则（例如标签显示为[1,0,0,0,0,0,1] 使用sigmoid + binary_crossentropy。
3. 最初减小模型的大小，并且只有在过度拟合问题仍然存在时才使用Dropout()。仅使用一层 LSTM。
4. 减少单元数量（即使你只有一个 LSTM 单元（64/128 可能就足够了）。
5. 您可以使用双向 LSTM（我什至会选择双向 GRU，因为它们更简单，可以查看性能表现如何）。
6. 确保你做一个stratified split（这样，某些示例肯定会同时出现在训练集和验证集中，同时保持良好的比例。
7. 从较小的学习率开始 (0.0001/0.00005)。
8. 建立客观/正确的基线。如果您的数据非常少，特别是在处理多模式数据集时（您只获取“文本”），您只处理具有 7 个不同类别的文本，那么您可能无法达到非常高的准确度。

请记住，为了在您的案例中获得合理的最终结果，您需要采用以数据为中心的方法，而不是以模型为中心的方法。不管可能的改进如何，如果数据稀缺 + 不全面，您将无法取得很好的结果。

Answer 2

你的数据集有多长（多少个句子），2179 个标记似乎不多，在我看来你的模型对于这项任务来说太大了。我不会添加 4 层 LSTM，我会选择 1 层或 2 层。

from keras import regularizers,layers

model = Sequential()
model.add(embedding_layer)
model.add(Bidirectional(layers.LSTM(64,return_sequences=True)))
model.add(Bidirectional(layers.LSTM(32)))
model.add(Dense(16, activation='relu'))
# model.add(Dropout(0.2))
model.add(Dense(7, activation='softmax'))

至于训练，200 epoch 似乎很长，如果您的模型在 20 之后似乎没有收敛，我会重置并尝试使用更简单的架构。

Answer 3

训练和验证统计数据之间的巨大差异通常表明模型对训练数据的过度拟合。

为了尽量减少这种情况，我做了几件事

1. 减小模型的大小。
2. 在模型中添加一些 dropout 或类似层。我在使用这些层方面取得了很好的成功：layers.LeakyReLU(alpha=0.8),

在此处查看指南： https://www.tensorflow.org/tutorials/keras/overfit_and_underfit#strategies_to_prevent_overfitting