使用 BERT 编码器的二进制分类模型的准确率保持在 50%答案

【问题标题】：Binary classification model using BERT encoder stuck at 50% accuracy使用 BERT 编码器的二进制分类模型的准确率保持在 50%
【发布时间】：2020-09-26 18:02:37
【问题描述】：

我正在尝试为 Yelp 二进制分类任务训练一个简单的模型。

加载 BERT 编码器：

gs_folder_bert = "gs://cloud-tpu-checkpoints/bert/keras_bert/uncased_L-12_H-768_A-12"
bert_config_file = os.path.join(gs_folder_bert, "bert_config.json")
config_dict = json.loads(tf.io.gfile.GFile(bert_config_file).read())
bert_config = bert.configs.BertConfig.from_dict(config_dict)
_, bert_encoder = bert.bert_models.classifier_model(
    bert_config, num_labels=2)
checkpoint = tf.train.Checkpoint(model=bert_encoder)
checkpoint.restore(
    os.path.join(gs_folder_bert, 'bert_model.ckpt')).assert_consumed()

加载数据：

data, info = tfds.load('yelp_polarity_reviews', with_info=True, batch_size=-1, as_supervised=True)
train_x_orig, train_y_orig = tfds.as_numpy(data['train'])
train_x = encode_examples(train_x_orig)
train_y = train_y_orig

使用 BERT 嵌入数据：

encoder_output = bert_encoder.predict(train_x)

设置模型：

inputs = keras.Input(shape=(768,))
x = keras.layers.Dense(64, activation='relu')(inputs)
x = keras.layers.Dense(8, activation='relu')(x)
outputs = keras.layers.Dense(1, activation='sigmoid')(x)
model = keras.Model(inputs=inputs, outputs=outputs)
sgd = SGD(lr=0.0001)
model.compile(loss='binary_crossentropy', optimizer=sgd, metrics=['accuracy'])

火车：

model.fit(encoder_output[0], train_y, batch_size=64, epochs=3)
# encoder_output[0].shape === (10000, 1, 768)
# y_train.shape === (100000,)

训练结果：

Epoch 1/5
157/157 [==============================] - 1s 5ms/step - loss: 0.6921 - accuracy: 0.5455
Epoch 2/5
157/157 [==============================] - 1s 5ms/step - loss: 0.6918 - accuracy: 0.5455
Epoch 3/5
157/157 [==============================] - 1s 5ms/step - loss: 0.6915 - accuracy: 0.5412
Epoch 4/5
157/157 [==============================] - 1s 5ms/step - loss: 0.6913 - accuracy: 0.5407
Epoch 5/5
157/157 [==============================] - 1s 5ms/step - loss: 0.6911 - accuracy: 0.5358

我尝试了不同的学习率，但主要问题似乎是训练需要 1 秒并且准确度保持在 ~0.5。我没有正确设置输入/模型吗？

【问题讨论】：

标签： python tensorflow keras

【解决方案1】：

您的 BERT 模型未进行训练。它必须放在密集层之前并作为模型的一部分进行训练。输入层必须不采用 BERT 向量，而是将标记序列裁剪为 max_length 并进行填充。下面是示例代码：https://keras.io/examples/nlp/text_extraction_with_bert/，见create_model函数的开头。

或者，您可以使用转换器中的Trainer。

【讨论】：