【发布时间】：2021-02-19 01:18:40
【问题描述】：
我想在与特定领域（在我的情况下与工程相关）相关的文本上微调 BERT。培训应该是无人监督的，因为我没有任何标签或任何东西。这可能吗？
【问题讨论】：
标签： python deep-learning neural-network nlp bert-language-model
【发布时间】：2021-02-19 01:18:40
【问题描述】：
您实际上想要的是继续对来自您特定域的文本进行预训练 BERT。在这种情况下，您要做的是继续将模型作为掩码语言模型进行训练，但要使用您的特定领域数据。
您可以使用 Huggingface 变形金刚中的 run_mlm.py 脚本。
【讨论】：
-
在继续预训练时我是否还需要扩展词汇量？我在问，因为我要训练 Bert 的文本包含与发电厂相关的非常具体的术语。
-
你可以。最好的词汇文件中有很多插槽，您可以在其中放入特定领域的单词。