BERT 编码器层不可训练答案

【问题标题】：BERT Encoder layer is non-trainableBERT 编码器层不可训练
【发布时间】：2021-03-10 13:37:48
【问题描述】：

我正在尝试从 TensorFlow hub 微调 BERT 模型。我加载了预处理层和编码器如下：

bert_preprocess_model = hub.KerasLayer('https://tfhub.dev/tensorflow/bert_multi_cased_preprocess/3')
bert_model = hub.KerasLayer('https://tfhub.dev/tensorflow/small_bert/bert_en_uncased_L-4_H-512_A-8/1')

这是我的模型定义：

def build_classifier_model():
  text_input = tf.keras.layers.Input(shape=(), dtype=tf.string, name='text')
  preprocessing_layer = hub.KerasLayer(bert_preprocess_model, name='preprocessing')
  encoder_inputs = preprocessing_layer(text_input)
  encoder = hub.KerasLayer(bert_model, trainable=True, name='BERT_encoder')
  outputs = encoder(encoder_inputs)
  net = outputs['pooled_output']
  net = tf.keras.layers.Dropout(0.1)(net)
  net = tf.keras.layers.Dense(3, activation='softmax', name='classifier')(net)
  return tf.keras.Model(text_input, net)

classifier_model = build_classifier_model()

但我收到以下错误：ERROR:absl:hub.KerasLayer 是可训练的，但可训练的权重为零。在官网上，模型是微调的。

【问题讨论】：

标签： python tensorflow keras bert-language-model

【解决方案1】：

我找到了解决方案，只需添加 trainable = True ：

bert_model = hub.KerasLayer('https://tfhub.dev/tensorflow/small_bert/bert_en_uncased_L-4_H-512_A-8/1',trainable=True)

【讨论】：