Keras 二进制模型陷入 50% 的准确度

Question

我正在训练一个模型来了解新闻对市场波动的影响。模型似乎找到了，并且数据集类是平衡的，所以我不确定到底出了什么问题。

我使用预训练的词嵌入编写了一个基本模型：

model = tf.keras.models.Sequential([
    tf.keras.layers.Embedding(vocab_size+1, embedding_dim, weights=[embedding_matrix]),
    tf.keras.layers.LSTM(300, return_sequences=True, activation='relu'),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(254, activation='relu')),
    tf.keras.layers.Dropout(0.4),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dropout(0.4),
    tf.keras.layers.Dense(32, activation='relu'),
    tf.keras.layers.Dense(1, activation='sigmoid')
])

model.compile(loss='binary_crossentropy', optimizer='Adam', metrics=['binary_accuracy'])

训练模型，我明白了：

109/109 [==============================] - 265s 2s/step - loss: 0.6945 - 
binary_accuracy: 0.5032 - val_loss: 0.6927 - val_binary_accuracy: 0.5161

109/109 [==============================] - 265s 2s/step - loss: 0.6945 - 
binary_accuracy: 0.5032 - val_loss: 0.6978 - val_binary_accuracy: 0.5123

109/109 [==============================] - 265s 2s/step - loss: 0.6945 - 
binary_accuracy: 0.5032 - val_loss: 0.6859 - val_binary_accuracy: 0.5096

109/109 [==============================] - 265s 2s/step - loss: 0.6945 - 
binary_accuracy: 0.5032 - val_loss: 0.6801 - val_binary_accuracy: 0.5245

我想也许我的问题是数据不相关，模型没有什么可学的，但我什至不确定，实际上，我已经发布了dataset and the notebook on GitHub so that you can reproduce the issue, will be great if you can find what is going on.

Answer 1

对于 5,000 个示例的数据集大小，您的模型似乎过于复杂。我建议如下：

model = tf.keras.models.Sequential([
    tf.keras.layers.Embedding(vocab_size+1, embedding_dim, weights=[embedding_matrix]),
    tf.keras.layers.LSTM(128, return_sequences=True, activation='relu'),
    tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(128, activation='relu')),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Dense(32, activation='relu'),
    tf.keras.layers.Dense(2, activation='sigmoid')
])

model.compile(loss='binary_crossentropy', optimizer='Adam', metrics=['binary_accuracy'])

请注意，您必须将输出层更改为 2 个神经元：

tf.keras.layers.Dense(2, activation='sigmoid')

你可以通过申请pd.get_dummies(y_train)来做到这一点

另外，将 Dropout 减少到 0.2 并提高学习率。不要忘记对区间 0 到 1 中的数据进行归一化：

def norm(x):
    return (x-np.min(x))/(np.max(x)-np.min(x))