如何提高 LSTM 模型的预测和准确性？

Question

在使用 gensim 创建预嵌入层后，对于 4600 条记录，我的 val_accuracy 下降到 45%：-

model =  models.Sequential()
   
    model.add(Embedding(input_dim=MAX_NB_WORDS, output_dim=EMBEDDING_DIM, 
                         weights=[embedding_model],trainable=False,
                        input_length=seq_len,mask_zero=True))
    #model.add(SpatialDropout1D(0.2))
       
    
    #model.add(Embedding(vocabulary_size, 64))
    model.add(GRU(units=150, return_sequences=True))
    model.add(Dropout(0.4))
    model.add(LSTM(units=200,dropout=0.4))  
    #model.add(Dropout(0.8))
    #model.add(LSTM(100)) 
    #model.add(Dropout(0.4))
    #Bidirectional(tf.keras.layers.LSTM(embedding_dim))
    #model.add(LSTM(400,input_shape=(1117, 100),return_sequences=True))
    #model.add(Bidirectional(LSTM(128)))
    model.add(Dense(100, activation='relu'))
    #
    #model.add(Dropout(0.4))
    #model.add(Dense(200, activation='relu'))
    model.add(Dense(4, activation='softmax'))

    model.compile(loss='categorical_crossentropy', optimizer='rmsprop', 
                  metrics=['accuracy'])

型号：“sequential_4”

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding_4 (Embedding)      (None, 50, 100)           2746300   
_________________________________________________________________
gru_4 (GRU)                  (None, 50, 150)           112950    
_________________________________________________________________
dropout_4 (Dropout)          (None, 50, 150)           0         
_________________________________________________________________
lstm_4 (LSTM)                (None, 200)               280800    
_________________________________________________________________
dense_7 (Dense)              (None, 100)               20100     
_________________________________________________________________
dense_8 (Dense)              (None, 4)                 404       
=================================================================
Total params: 3,160,554
Trainable params: 414,254
Non-trainable params: 2,746,300
_________________________________________________________________

完整代码位于 https://colab.research.google.com/drive/13N94kBKkHIX2TR5B_lETyuH1QTC5VuRf?usp=sharing

这对我很有帮助。因为我是深度学习的新手，我几乎尝试了所有我知道的东西。但现在都是空白。

Answer 1

问题在于您的输入。您已用零填充输入序列，但尚未向模型提供此信息。因此，您的模型不会忽略零，这是它根本没有学习的原因。要解决此问题，请按如下方式更改嵌入层：

model.add(layers.Embedding(input_dim=vocab_size+1,
      output_dim=embedding_dim,
      mask_zero=True))

这将使您的模型忽略零填充并学习。用这个进行训练，我在 6 个 epoch 中得到了 100% 的训练准确率，尽管验证准确率不是那么好（大约 54%），这是预期的，因为你的训练数据只包含 32 个示例。更多关于嵌入层：https://keras.io/api/layers/core_layers/embedding/

---

由于您的数据集很小，模型很容易过度拟合训练数据，从而降低验证准确度。为了在一定程度上缓解这种情况，您可以尝试使用预训练的词嵌入，如 word2vec 或 GloVe，而不是训练自己的嵌入层。此外，尝试一些文本数据增强方法，例如使用模板创建人工数据或用同义词替换训练数据中的单词。您还可以尝试不同类型的层（例如用另一个 LSTM 替换 GRU），但我认为这在这里可能没有太大帮助，应该在尝试预训练嵌入和数据增强后考虑。