【问题标题】:Finetune Text embeddings using BERT?使用 BERT 微调文本嵌入? 【发布时间】:2019-02-18 18:52:56 【问题描述】: 在为分类任务进行微调时,文本嵌入是否也进行了微调?或者编码微调到哪一层(第二个最后一层)? 【问题讨论】: 标签: nlp embedding 【解决方案1】: 如果你使用的是谷歌发布的the original BERT repository,所有层都是可训练的;意思:完全没有冻结。你可以通过打印tf.trainable_variables()来检查。 【讨论】: 这也是为了微调机箱吗?我希望在我的数据中微调编码。 是的。一切都将根据您的数据进行微调。