【问题标题】:Finetune Text embeddings using BERT?使用 BERT 微调文本嵌入?
【发布时间】:2019-02-18 18:52:56
【问题描述】:

在为分类任务进行微调时,文本嵌入是否也进行了微调?或者编码微调到哪一层(第二个最后一层)?

【问题讨论】:

    标签: nlp embedding


    【解决方案1】:

    如果你使用的是谷歌发布的the original BERT repository,所有层都是可训练的;意思:完全没有冻结。你可以通过打印tf.trainable_variables()来检查。

    【讨论】:

    • 这也是为了微调机箱吗?我希望在我的数据中微调编码。
    • 是的。一切都将根据您的数据进行微调。
    猜你喜欢
    • 2021-01-16
    • 1970-01-01
    • 1970-01-01
    • 2020-06-10
    • 2020-09-17
    • 2020-07-01
    • 1970-01-01
    • 2020-12-08
    • 2021-12-24
    相关资源
    最近更新 更多